[論文レビュー] Progressive Feature Alignment for Unsupervised Domain Adaptation

Chaoqi Chen, Weiping Xie+6 more|arXiv (Cornell University)|Nov 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 24

ひとこと要約

本稿では、逐次的に信頼性の高い疑似ラベル付きサンプルを容易から困難への転送戦略（EHTS）により選別し、適応的プロトタイプアライメント（APA）を用いてクロスドメインのカテゴリアライメントを精錬する、新しい非教師ありドメイン適応手法であるプログレッシブ・フェイチャ・アライメント・ネットワーク（PFAN）を提案する。温度スケーリング付きソフトマックス関数を用いてソース分類器の収束を遅らせることで、誤り蓄積を軽減し、クラスの一貫性を保ちながら、3つのUDAベンチマークで最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) transfers knowledge from a label-rich source domain to a fully-unlabeled target domain. To tackle this task, recent approaches resort to discriminative domain transfer in virtue of pseudo-labels to enforce the class-level distribution alignment across the source and target domains. These methods, however, are vulnerable to the error accumulation and thus incapable of preserving cross-domain category consistency, as the pseudo-labeling accuracy is not guaranteed explicitly. In this paper, we propose the Progressive Feature Alignment Network (PFAN) to align the discriminative features across domains progressively and effectively, via exploiting the intra-class variation in the target domain. To be specific, we first develop an Easy-to-Hard Transfer Strategy (EHTS) and an Adaptive Prototype Alignment (APA) step to train our model iteratively and alternatively. Moreover, upon observing that a good domain adaptation usually requires a non-saturated source classifier, we consider a simple yet efficient way to retard the convergence speed of the source classification loss by further involving a temperature variate into the soft-max function. The extensive experimental results reveal that the proposed PFAN exceeds the state-of-the-art performance on three UDA datasets.

研究の動機と目的

• ターゲットサンプルの信頼性の低い疑似ラベル付けによって引き起こされる誤り蓄積を解消すること。
• ターゲットドメイン内のクラス内変動を活用して、疑似ラベル付きサンプルの信頼性を向上させること。
• 段階的かつ反復的な方法でソースおよびターゲットプロトタイプをアライメントさせることで、クロスドメインのカテゴリ一貫性を強化すること。
• 温度変数を用いてソース分類損失の収束を遅らせることで、ソースデータへの過学習を軽減すること。
• 疑似ラベル品質の向上とドメイン不変表現学習の両方を同時に改善する堅牢なフレームワークを開発すること。

提案手法

• クロスドメイン類似度に基づいて、信頼性の高い疑似ラベル付きターゲットサンプルを段階的に選別する容易から困難への転送戦略（EHTS）を提案する。
• 選別された疑似ラベル付きサンプルを用いて統計的にソースおよびターゲットクラスプロトタイプをアライメントする適応的プロトタイプアライメント（APA）を導入し、誤ってラベル付けされたサンプルからのバイアスを低減する。
• EHTSとAPAを反復的なトレーニングループ内で交互に適用することで、段階的に特徴アライメントを精錬し、疑似ラベルの信頼性を向上させる。
• ソフトマックス関数に温度ハイパーパrameterを組み込み、ソース分類損失の収束を遅らせることで、非飽和的なソース分類器を促進する。
• A距離をドメイン乖離の指標として推定するためにカーネルSVMを適用し、分布シフトの低減を検証する。
• t-SNE可視化を用いて、PFANとベースラインモデルの間で特徴空間のクラスタリングを比較し、より明確なクラス間分離と低いクラス内散らばりを示す。

実験結果

リサーチクエスチョン

• RQ1 信頼性の高い疑似ラベル付きサンプルの逐次的選別は、非教師ありドメイン適応のロバストネスを向上させ得るか？
• RQ2 適応的プロトタイプアライメントは、UDAにおける誤ってラベル付けされたサンプルの悪影響をどのように軽減するか？
• RQ3 ソース分類器の収束を遅らせることで、ドメイン適応性能がどの程度向上するか？
• RQ4 A距離の低減だけが、より良いターゲットドメインの精度を保証するのか、それとも他の要因、例えばクラスレベルのアライメントがより重要か？
• RQ5 ターゲットドメインにおけるクラス内分散を効果的に活用することで、疑似ラベル品質とカテゴリ一貫性を向上させられるか？

主な発見

• PFANは、RevGrad やベースラインモデルを含む既存手法を上回る、3つの標準的UDAベンチマークで最先端の性能を達成した。
• アブレーションスタディの結果、EHTS、APA、温度スケーリング、グローバルプロトタイプアライメントのすべての構成要素が不可欠であることが確認され、いずれかを削除すると顕著な性能低下が生じた。
• EHTSのおかげで、大規模なドメインシフト下でもトレーニング全体を通して疑似ラベル精度が高く安定していることが示され、信頼性の高いサンプル選別が可能である。
• 正しくラベル付けされたサンプルの数が増えるに従い、テスト精度が比例的に上昇したため、PFANが誤ってラベル付けされたサンプルの悪影響を効果的に抑制していることが示された。
• t-SNE可視化の結果、PFANはRevGradと比較して、より明確なクラス間分離と低いクラス内分散を示す、より識別性の高い特徴を学習していることが分かった。
• RevGradと比較してA距離の低減幅は小さかったが、PFANは顕著に高いターゲット精度を達成したため、低ドメイン乖離は強力なUDA性能の必要条件でも十分条件でもないことが示された。