[論文レビュー] Joint Pixel and Feature-level Domain Adaptation in the Wild.

Luan Tran, Kihyuk Sohn+3 more|arXiv (Cornell University)|Feb 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 3

ひとこと要約

本稿では、特徴量レベルでのドメイン adversarial エントロピー最小化と、3D ジオメトリを考慮した画像合成および属性条件付き CycleGAN を用いたピクセルレベルでのドメイン適応を組み合わせる、ピクセルおよび特徴量レベルの統合的ドメイン適応フレームワークを提案する。本手法は、明示的に特定可能な変動要因（例：ポーズ、照明）をモデル化するとともに、補完的な適応戦略により未知の要因を暗黙的に処理することで、ラベルなし監視映像における自動車認識タスクで最先端の性能を達成する。

ABSTRACT

Recent developments in deep domain adaptation have allowed knowledge transfer from a labeled source domain to an unlabeled target domain at the level of intermediate features or input pixels. We propose that advantages may be derived by combining them, in the form of different insights that lead to a novel design and complementary properties that result in better performance. At the feature level, inspired by insights from semi-supervised learning in a domain adversarial neural network, we propose a novel regularization in the form of domain adversarial entropy minimization. Next, we posit that insights from computer vision are more amenable to injection at the pixel level and specifically address the key challenge of adaptation across different semantic levels. In particular, we use 3D geometry and image synthesization based on a generalized appearance flow to preserve identity across higher-level pose transformations, while using an attribute-conditioned CycleGAN to translate a single source into multiple target images that differ in lower-level properties such as lighting. We validate on a novel problem of car recognition in unlabeled surveillance images using labeled images from the web, handling explicitly specified, nameable factors of variation through pixel-level and implicit, unspecified factors through feature-level adaptation. Extensive experiments achieve state-of-the-art results, demonstrating the effectiveness of complementing feature and pixel-level information via our proposed domain adaptation method.

研究の動機と目的

• ラベル付きソースデータ（例：Web 画像）とラベルなしターゲットデータ（例：監視映像）の間に顕著な差異が生じる現実世界のシナリオにおけるドメイン適応の向上を図ること。
• 明示的・名前が付けられる変動要因（例：ポーズ、照明）と暗黙的・特定されていない要因を、補完的な適応戦略により同時に処理する挑戦に応えること。
• ピクセルレベルと特徴量レベルの両方の適応を活用する統一フレームワークを構築し、クロスドメイン認識における一般化性能の向上を図ること。
• 幾何的画像合成とドメイン adversarial 学習を組み合わせた手法の実世界認識タスクにおける有効性を検証すること。

提案手法

• 半教師あり学習およびドメイン adversarial ネットワークにインspired された、特徴量レベルにおけるドメイン adversarial エントロピー最小化を新たな正則化技術として導入する。
• 3D ジオメトリと一般化された外観フローを用いて、ポーズの変化に伴ってもアイデンティティを保持する画像を合成し、意味論的変換に対して頑健な適応を可能にする。
• 属性条件付き CycleGAN を用いて、照明や色などの低レベル特性に変化を加えた多様なターゲットドメイン画像を生成する。
• ピクセルレベルと特徴量レベルの適応モジュールの出力を統合し、ドメイン整合性と特徴量分離の両方を同時に最適化する。
• 明示的な制御（例：ポーズ、照明）と、adversarial 学習による未知要因の暗黙的モデリングを併用する。
• ペアデータが不要な状態で、ラベル付きソース画像とラベルなしターゲット画像を用いて、エンド・ツー・エンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルと特徴量レベルのドメイン適応を統合することで、現実的かつ制約のない認識タスクにおける性能向上が図れるか？
• RQ2 3D ジオメトリと外観フローを用いた画像合成は、ポーズや視点の変化においてアイデンティティの保持をどの程度効果的に実現できるか？
• RQ3 明示的教師信号が存在しない状況下で、ドメイン adversarial エントロピー最小化は特徴量レベルでのドメイン整合性をどの程度向上できるか？
• RQ4 属性条件付き画像変換は、照明や色の変化といった低レベルのドメインシフトを効果的にモデル化できるか？
• RQ5 明示的および暗黙的適応戦略を統合したアプローチは、単一レベルのアプローチと比較して、クロスドメイン自動車認識においてどの程度優れているか？

主な発見

• 本手法は、Web 画像をソースとしてラベル付き、監視映像をターゲットとしてラベルなしの新たな自動車認識ベンチマークで最先端の性能を達成した。
• ピクセルレベルと特徴量レベルの両方での統合的適応は、ピクセルレベルまたは特徴量レベルのみに依存する手法よりも顕著に優れた性能を示した。
• 3D ジオメトリと外観フローの活用により、合成されたターゲット画像において、大きなポーズ変化に対してもアイデンティティの保持が効果的に実現された。
• 属性条件付き CycleGAN は、照明や色の制御された変化を加えた多様で現実的なターゲットドメイン画像を効果的に生成した。
• ドメイン adversarial エントロピー最小化は、中間特徴量におけるドメインシフトを効果的に低減し、未観測のターゲットドメインへの一般化性能を向上させた。
• 本手法は、現実の監視環境において、特定可能な要因（例：ポーズ、照明）および特定不能な要因の両方に対して、強力なロバスト性を示した。