[論文レビュー] Stretching Domain Adaptation: How far is too far?

Yunhan Zhao, Haider Ali+1 more|arXiv (Cornell University)|Dec 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 5

ひとこと要約

本稿では、特にスケッチから実画像への転送のような極端な状況を想定した、クロスモダリティドメイン適応の評価と向上を目的として、新しいデータセットスイートとDeep MagNetフレームワークを提案する。Deep MagNetは、複数のMMD損失関数と遷移層を用いて、ドメイン間の特徴マッピングを強化し、すべてのベンチマークタスク、特に最も困難なスケッチから実画像への転送において、最先端の性能を達成する。

ABSTRACT

While deep learning has led to significant advances in visual recognition over the past few years, such advances often require a lot of annotated data. Unsupervised domain adaptation has emerged as an alternative approach that does not require as much annotated data, prior evaluations of domain adaptation approaches have been limited to relatively similar datasets, e.g source and target domains are samples captured by different cameras. A new data suite is proposed that comprehensively evaluates cross-modality domain adaptation problems. This work pushes the limit of unsupervised domain adaptation through an in-depth evaluation of several state of the art methods on benchmark datasets and the new dataset suite. We also propose a new domain adaptation network called "Deep MagNet" that effectively transfers knowledge for cross-modality domain adaptation problems. Deep Magnet achieves state of the art performance on two benchmark datasets. More importantly, the proposed method shows consistent improvements in performance on the newly proposed dataset suite.

研究の動機と目的

• より異なるソースドメインとターゲットドメインを対象とした、既存の教師なしドメイン適応手法のストレステストを実施すること。
• スケッチから実画像への画像転送のようなクロスモダリティタスクに応用した際の、現在のSOTA手法の限界を特定すること。
• 極端なドメインシフト下でのドメイン適応の評価を可能にする包括的なベンチマークデータセットスイートを提供すること。
• 多様なドメインシフトにわたる一般化性能を向上させた、新しいドメイン適応ネットワーク、Deep MagNetを提案すること。
• 従来のタスクと極めて困難なクロスモダリティ適応タスクの両方で、一貫した性能向上を示すこと。

提案手法

• 実写から実写（Pascal 3D+）、実写からCAD（ShapeNet）、実写からスケッチ（Sketch-250 および Caltech-256）の3段階のドメインシフトレベルを持つ、新しいデータセットスイートを提案。
• 分類器の重みだけでなく、畳み込みフィルタのレベルでも知識転送を強制するドメイン適応ネットワーク、Deep MagNetを導入。
• ソースドメインとターゲットドメインの特徴分布を、ネットワークの異なる層で複数のMaximum Mean Discrepancy（MMD）損失関数を用いて統合する。
• 高レベル特徴の適応を可能にするために、ドレインブロック間の遷移層を統合し、MMDベースのドメイン統合を効果的に行う。
• バックボーンとして事前学習済みImageNetモデル（例：DenseNet-121、ResNet-152）を用い、ドメイン適応損失を用いて微調整する。
• 既存のMMDまたは敵対的アプローチとは直交するようにネットワークを設計しており、今後の研究で他の損失関数との統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 人間が描いたスケッチから実画像への転送のような極端なドメインシフトに直面した場合、現在の最先端ドメイン適応手法はどの程度の性能を示すか？
• RQ2 CADレンダリングと実際のシーンのように、視覚的外観が著しく異なるドメイン間での知識転送において、既存のドメイン適応手法はどの程度失敗するか？
• RQ3 統一されたドメイン適応フレームワークは、実写から実写からスケッチから実写までの複数のドメインシフトレベルにおいて、強力な性能を維持できるか？
• RQ4 極めて異なるドメイン間でドメイン不変特徴を保持するために、どのアーキテクチャ的要素が最も効果的か？
• RQ5 複数のMMD損失関数と遷移層によるマルチレベル特徴マッピングは、単一レベルのマッピングに比べ、より頑健で一般化性の高いドメイン適応を実現できるか？

主な発見

• Deep MagNetは、標準ベンチマーク（Office-31、Office-Caltech）および新たに提案されたデータセットスイートにおいて、最先端の性能を達成した。
• スケッチから実画像への画像転送タスクにおける平均分類精度は、すべての評価タスクの中で最低であり、その困難さが裏付けられた。
• Deep MagNetは、RTN、CORAL、JANすべての転送タスクで優れた性能を示し、特にスケッチから実画像およびCADから実画像への転送で顕著な向上を示した。
• 同じ適応プロトコル下で、DenseNet-121 や ResNet-152 といった深層モデルは、浅いモデル（例：AlexNet）よりも高い精度を示した。
• RTNは実写から実写タスクでは良好な性能を示したが、クロスモダリティタスクでは著しく性能が低下し、空間的およびピクセルレベルの一貫性への過剰依存が示された。
• Deep MagNetの遷移層により、ドレインブロックからの特徴の適応が効果的に行われ、バックボーンモデルの交換に対しても一貫した性能が維持された。