[論文レビュー] CyCADA: Cycle-Consistent Adversarial Domain Adaptation

Judy Hoffman, Eric Tzeng+6 more|arXiv (Cornell University)|Nov 8, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 630

ひとこと要約

CyCADA は、サイクル整合性を持つ画像翻訳と adversarial domain adaptation をピクセルレベルと特徴レベルで統合し、さらに意味的整合性を組み込むことで、ドメイン間の教師なし適応を実現し、digit 認識と意味分割で最先端の結果を達成します。

ABSTRACT

Domain adaptation is critical for success in new, unseen environments. Adversarial adaptation models applied in feature spaces discover domain invariant representations, but are difficult to visualize and sometimes fail to capture pixel-level and low-level domain shifts. Recent work has shown that generative adversarial networks combined with cycle-consistency constraints are surprisingly effective at mapping images between domains, even without the use of aligned image pairs. We propose a novel discriminatively-trained Cycle-Consistent Adversarial Domain Adaptation model. CyCADA adapts representations at both the pixel-level and feature-level, enforces cycle-consistency while leveraging a task loss, and does not require aligned pairs. Our model can be applied in a variety of visual recognition and prediction settings. We show new state-of-the-art results across multiple adaptation tasks, including digit classification and semantic segmentation of road scenes demonstrating transfer from synthetic to real world domains.

研究の動機と目的

• 深層モデルにおける合成データと実データ、または異なる視覚ドメイン間のドメインシフトを動機づけ、対処する。
• ドメイン翻訳中の意味内容を保持する教師なし適応フレームワークを開発する。
• サイクル整合性損失と意味損失を用いて、ピクセル空間と特徴空間の適応を統合する。
• 数字分類と都市意味的セマンティックセグメンテーションのタスクで最先端の性能を示す。
• 性能向上とともに画像空間適応の解釈性の利点を示す。

提案手法

• ソースドメインとターゲットドメインの間を写像するための、対戦的識別子を備えた G_S→T および G_T→S ジェネレータを導入する。
• mappings が可逆で内容を保持することを保証するため、サイクル整合性損失を課す。
• 翻訳後も不変のラベルを強制するために、固定されたソースタスクモデルを用いて意味的整合性損失を適用する。
• 任意で、中間表現を整合させるための特徴レベルGAN損失を含める。
• タスク損失、GAN損失、サイクル損失、意味損失を組み合わせた CyCADA の統合目的関数を最適化する。
• G にはピクセル対ピクセル畳み込みネットワークを、f と D には FCN/畳み込みネットワークを実装する。

Figure 1: We propose CyCADA, an adversarial unsupervised adaptation algorithm which uses cycle and semantic consistency to perform adaptation at multiple levels in a deep network. Our model provides significant performance improvements over source model baselines.

実験結果

リサーチクエスチョン

• RQ1 サイクル整合性を持つ対戦的写像は、ドメイン間の翻訳時に意味内容を保持できるか？
• RQ2 マルチレベル適応（ピクセルと特徴） は、単一レベル法より教師なしドメイン適応を改善するか？
• RQ3 ドメインシフト下で、サイクル整合性と意味的整合性が数字認識と意味的セグメンテーションのパフォーマンスにどう影響するか？
• RQ4 画像空間（ピクセル）適応が解釈性とパフォーマンスに与える影響は？
• RQ5 CyCADA は、合成から実データへのシナリオにおいて、ソースで訓練された性能とターゲットで訓練された性能の差をどの程度縮められるか？

主な発見

モデル	MNIST → USPS	USPS → MNIST	SVHN → MNIST
ソースのみ	82.2 ± 0.8	69.6 ± 3.8	67.1 ± 0.6
DANN (Ganin et al., 2016)	-	-	73.6
DTN (Taigman et al., 2017a)	-	-	84.4
CoGAN (Liu & Tuzel, 2016a)	91.2	89.1	-
ADDA (Tzeng et al., 2017)	89.4 ± 0.2	90.1 ± 0.8	76.0 ± 1.8
CyCADA pixel only	95.6 ± 0.2	96.4 ± 0.1	70.3 ± 0.2
CyCADA pixel+feat	95.6 ± 0.2	96.5 ± 0.1	90.4 ± 0.4
Target only	96.3 ± 0.1	99.2 ± 0.1	99.2 ± 0.1

• CyCADA は USPS、MNIST、SVHN のシフトに対する digit 適応で最先端の結果を達成する。
• ピクセル空間適応のみで小さなドメインシフトに対して強い結果を得られ、追加の特徴空間適応は大きなシフトでさらなる向上をもたらす。
• 意味セグメンテーションでは、合成-to-real タスクと季節横断適応で最先端の性能を達成し、複数の指標でターゲット監督オラクル水準に近づく。
• ピクセル空間と特徴空間適応を同時に行うことで、digit 分類タスクで最良の総合性能を得る。
• 画像空間適応は解釈可能な視覚翻訳（例：SYNTHIA における fall から winter へ）を提供し、それがセグメンテーション性能の向上と相関する。

Figure 2: Cycle-consistent adversarial adaptation of pixel-space inputs. By directly remapping source training data into the target domain, we remove the low-level differences between the domains, ensuring that our task model is well-conditioned on target data. We depict here the image-level GAN los