[論文レビュー] Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation

Dongdong Chen, Yisen Wang+3 more|arXiv (Cornell University)|Jun 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 4

ひとこと要約

本稿では、共有クラス中心を用いて統一された特徴空間で、意味的ドメイン整合性とターゲット分類器学習を同時に最適化する、新しい非教師ありドメイン適応手法SDA-TCLを提案する。判別的中心損失とドメイン間で共有されるクラス中心を統合することにより、Office-31およびVisDAベンチマークで最先端の性能を達成し、収束が速く、ドメインギャップが顕著に低減されることが示された。

ABSTRACT

Unsupervised domain adaptation aims to transfer the classifier learned from the source domain to the target domain in an unsupervised manner. With the help of target pseudo-labels, aligning class-level distributions and learning the classifier in the target domain are two widely used objectives. Existing methods often separately optimize these two individual objectives, which makes them suffer from the neglect of the other. However, optimizing these two aspects together is not trivial. To alleviate the above issues, we propose a novel method that jointly optimizes semantic domain alignment and target classifier learning in a holistic way. The joint optimization mechanism can not only eliminate their weaknesses but also complement their strengths. The theoretical analysis also verifies the favor of the joint optimization mechanism. Extensive experiments on benchmark datasets show that the proposed method yields the best performance in comparison with the state-of-the-art unsupervised domain adaptation methods.

研究の動機と目的

• ドメイン整合性と分類器学習を別々に最適化する従来の非教師ありドメイン適応手法の限界を解消し、最適でない性能をもたらす問題に対処する。
• 異なる空間で動作する特徴レベルの整合性（意味的ドメイン整合性）とラベルレベルの分離（ターゲット分類器学習）を同時に最適化する課題を克服する。
• クラス内compactnessとクラス間分離の両方を活用する包括的な最適化メカニズムを構築し、ターゲットドメインにおける一般化性能を向上させる。
• 共同最適化メカニズムの理論的・実験的妥当性を検証し、分離最適化アプローチよりも優れていることを示す。

提案手法

• 同じクラスに対してソースドメインとターゲットドメイン間でクラス中心を共有することで、特徴空間において意味的ドメイン整合性とターゲット分類器学習を統合的に最適化するフレームワークSDA-TCLを提案する。
• 予測された偽ラベルのクラス中心にサンプルを引き寄せるとともに、他のクラス中心から遠ざける判別的中心損失を導入する。
• 同じクラスのためのソースとターゲットドメイン間のクラス中心の共有により、意味的ドメイン整合性を強化し、ドメイン間のクラスレベルのcompactnessを促進する。
• ターゲットの偽ラベルをハイパーパramータ $I_s$ を介して段階的に導入する二段階訓練戦略を採用し、学習の安定性を向上させる。
• ドメイン整合性と分類器学習の間のトレードオフを制御するハイパーパramータ $K$ を用いたバランスの取れた損失関数を採用し、ハイパーパramータ選択に対するロバストネスを確保する。
• 共同最適化は完全に特徴空間内で実行され、ラベル空間と特徴空間で別々に最適化する複雑さを回避する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありドメイン適応において、意味的ドメイン整合性とターゲット分類器学習を統一最適化フレームワークで効果的に統合する方法は何か？
• RQ2 クラス内compactnessとクラス間分離を同時に最適化することで、ドメイン一般化性能と収束速度に与える影響は何か？
• RQ3 分離アプローチと比較して、共同最適化メカニズムはドメイン差をどれほど低減し、精度を向上させるか？
• RQ4 訓練中にターゲットの偽ラベルを最適なタイミングと重みで組み込む戦略は何か、それがパフォーマンスを最大化するか？
• RQ5 ドメイン間で共有されるクラス中心は、特徴レベルとラベルレベルの最適化目的を統合する有効なブリッジとして機能するか？

主な発見

• SDA-TCLは、Office-31データセットで平均85.6%の精度を達成し、以前の最先端手法（TCL-ours：84.3%、SDA-ours：85.0%）を上回る最先端の性能を示した。
• VisDAベンチマークでは、合成から実画像への転移設定で81.9%の精度を達成し、次に良い手法（81.5%）を明確に上回った。
• A→Wタスクにおける訓練過程で、RevGradよりも収束が速く、安定しており、誤差率の低下が著しく速いことが示された。
• $ ext{dist}_{ar{A}}$ で測定されるドメインギャップは、SDA-TCLによって顕著に低減されており、ベースライン手法と比較して有効なドメイン整合性が実現されていることが示唆された。
• 除去実験では、SDA-ours や TCL-ours よりもSDA-TCLが優れていることが確認され、共同最適化の優位性が裏付けられた。
• ハイパーパramータの選択に対してロバストである：$K$ の値が1から9の広い範囲で性能が安定しており、二つの目的の重み付けの安定性が示された。