[論文レビュー] Unsupervised Transductive Domain Adaptation

Ozan Şener, Hyun Oh Song+2 more|arXiv (Cornell University)|Feb 10, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 3

ひとこと要約

本論文は、教師なし非巡回ドメイン適応手法を提案し、ターゲットラベル推定とソース・ターゲットドメイン間の非対称類似度メトリックの両方を同時に最適化する。ターゲットドメインにおける判別性の向上を通じて、従来手法を著しく上回る最先端の性能を達成しており、数字認識および物体認識ベンチマークで優れた結果を示している。

ABSTRACT

Supervised learning with large scale labeled datasets and deep layered models has made a paradigm shift in diverse areas in learning and recognition. However, this approach still suffers generalization issues under the presence of a domain shift between the training and the test data distribution. In this regard, unsupervised domain adaptation algorithms have been proposed to directly address the domain shift problem. In this paper, we approach the problem from a transductive perspective. We incorporate the domain shift and the transductive target inference into our framework by jointly solving for an asymmetric similarity metric and the optimal transductive target label assignment. We also show that our model can easily be extended for deep feature learning in order to learn features which are discriminative in the target domain. Our experiments show that the proposed method significantly outperforms state-of-the-art algorithms in both object recognition and digit classification experiments by a large margin.

研究の動機と目的

• トレーニングデータとテストデータの分布にドメインシフトが生じた場合の深層モデルの一般化失敗を解決すること。
• 適応段階中にターゲット推定プロセスを考慮しない従来の教師なしドメイン適応手法の限界を克服すること。
• ターゲットラベル割り当てとドメイン変換を同時に最適化するフレームワークを構築し、ターゲットドメインにおける判別性を向上させること。
• 非巡回モデリングを通じて、ターゲットドメインのパフォーマンスに特化した深層特徴学習を可能にすること。
• Office や MNIST/SVHN といった標準的なドメイン適応ベンチマークで最先端の性能を達成すること。

提案手法

• 非巡回ラベル割り当てと適応（メトリック学習）を交互に実行する統一最適化フレームワークを定式化する。
• 非巡回段階で離散的マルチラベルエネルギー最小化を用い、ラベル推定を実施し、未ラベルのターゲットサンプル間で滑らかさと一貫性を強制する。
• 適応段階でソース・ターゲットデータ間の非対称類似度メトリックを学習し、対称的距離特性を仮定しないドメインシフトのモデリングを可能にする。
• 学習の安定化と勾配の流れの改善を図るため、ラベル伝搬を統合する。
• ターゲットドメイン分類精度に依存する損失関数を用いて、特徴抽出器と適応モジュールを同時に学習することで、深層ニューラルネットワークへの拡張を実現する。
• 交互最適化戦略を採用：ドメイン変換を固定してラベルを推定し、次にラベルを固定して非対称メトリックを更新する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットラベル推定とドメイン適応の共同最適化は、ドメインシフト下での一般化を向上させ得るか？
• RQ2 適応目的に非巡回推定プロセスを組み込むことで、それらを別々に処理する手法よりも性能が向上するか？
• RQ3 大規模な分布シフト下で、非対称類似度メトリックは対称メトリックを上回るか？
• RQ4 ラベル伝搬と深層特徴学習は、非巡回ドメイン適応の安定性と精度をどの程度向上させるか？
• RQ5 ターゲットドメインの判別性を明示的にモデリングすることで、ドメイン不変特徴学習のみに依存する手法に比べて優れた性能が得られるか？

主な発見

• 提案手法は、MNIST → SVHN および SVHN → MNIST ドメイン適応ベンチマークで最先端の性能を達成し、従来手法を大きく上回った。
• Office データセットでは、物体認識の精度において既存の教師なしドメイン適応技術を著しく上回り、多様な視覚ドメイン間で強力な一般化性能を示した。
• アブレーションスタディの結果、ラベル伝搬と深層特徴学習の両方が性能に不可欠であることが判明。ラベル伝搬が欠落すると学習が不安定化し、精度が低下した。
• t-SNE 視覚化により、本手法は適応後、ターゲットドメイン特徴をクラスごとに明確にクラスタリングしているのに対し、ベースライン手法はターゲット特徴の構造化に失敗していることが確認された。
• 学習された非対称メトリックは、MNIST と SVHN のような大規模な視覚ドメインシフトに対しても、ソース・ターゲット間の近い近傍予測を非常に正確に生成した。
• 本手法は、ドメイン不変アプローチが不変性を優先する一方で判別性を犠牲にしがちなのとは異なり、ターゲット分類性能を直接最適化することで、ターゲットドメインにおける判別的特徴を明示的に学習している。