[論文レビュー] Unsupervised Domain Adaptation for Semantic Segmentation with GANs.

Swami Sankaranarayanan, Yogesh Balaji+3 more|arXiv (Cornell University)|Nov 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 46

ひとこと要約

本論文は、生成対抗ネットワーク（GAN）を用いた教師なしドメイン適応手法を提案し、合成画像ドメインと実画像ドメインの特徴埋め込みを敵対的訓練によって一致させる。2つの合成→実ドメイン適応ベンチマークで最先端の性能を達成し、未観測ドメインにも一般化可能であり、ソースドメインとターゲットドメイン間の分布一致が向上する。

ABSTRACT

Visual Domain Adaptation is a problem of immense importance in computer vision. Previous approaches showcase the inability of even deep neural networks to learn informative representations across domain shift. This problem is more severe for tasks where acquiring hand labeled data is extremely hard and tedious. In this work, we focus on adapting the representations learned by segmentation networks across synthetic and real domains. Contrary to previous approaches that use a simple adversarial objective or superpixel information to aid the process, we propose an approach based on Generative Adversarial Networks (GANs) that brings the embeddings closer in the learned feature space. To showcase the generality and scalability of our approach, we show that we can achieve state of the art results on two challenging scenarios of synthetic to real domain adaptation. Additional exploratory experiments show that our approach: (1) generalizes to unseen domains and (2) results in improved alignment of source and target distributions.

研究の動機と目的

• ラベル付きの実世界データが乏しい状況におけるドメインシフトの課題に対処すること。
• 教師なしドメイン適応を用いて、合成画像ドメインと実画像ドメイン間での表現学習を向上させること。
• 実世界データ収集における手動アノテーションへの依存を低減するスケーラブルで汎用性の高い手法を開発すること。
• 敵対的訓練を通じて、ソース（合成）ドメインとターゲット（実）ドメイン間の特徴空間一致を強化すること。
• 未観測ドメインへの一般化と、標準的なベンチマークを越えた分布一致の改善を評価すること。

提案手法

• 生成対抗ネットワーク（GAN）フレームワークを用い、潜在空間においてソース（合成）ドメインとターゲット（実）ドメインの特徴埋め込みを一致させる。
• 敵対的損失を採用し、識別器がソースとターゲットの特徴を区別するよう促し、同時に生成器がこの区別を最小化するようにする。
• 生画像ではなく、セグメンテーションネットワークの埋め込み空間上で動作する特徴レベルの敵対的目的を導入する。
• 敵対的適応を統合したエンドツーエンドの訓練により、ドメイン不変表現を実現する。
• GANが複雑なデータ分布をモデル化できることを活用し、スーパーピクセルや手作業特徴を必要とせずに一致を向上させる。
• 追加のファインチューニングやドメイン固有の適応モジュールを用いずに、訓練中にドメイン適応を適用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、合成→実ドメインへの教師なしドメイン適応におけるセマンティックセグメンテーション性能を向上させることができるか？
• RQ2 提案手法は、訓練時に見られなかった未観測のターゲットドメインにも一般化可能か？
• RQ3 従来手法と比較して、本手法はソースドメインとターゲットドメインの特徴分布をどの程度うまく一致させられるか？
• RQ4 敵対的特徴一致は、セグメンテーションタスクにおけるドメインシフトをどの程度軽減するか？
• RQ5 スーパーピクセルや補助的監視を用いずに、最先端の結果を達成できるか？

主な発見

• 提案手法は、2つの挑戦的な合成→実セマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• 本手法は未観測ドメインに対しても効果的に一般化され、訓練時のドメインシフトを超えた堅牢性を示した。
• ソースドメインとターゲットドメインの特徴埋め込みが潜在空間で顕著に一致し、ドメイン差が低減された。
• 特徴空間の一貫性が向上したことで、ソースドメインとターゲットドメイン間の分布一致が改善された。
• 単純な敵対的目的やスーパーピクセルベースのガイダンスに依存する従来手法を上回った。
• GANベースの特徴レベル適応が、より堅牢で汎用性の高いセグメンテーションモデルを実現できることを示した。