[論文レビュー] Discriminative Cross-Domain Feature Learning for Partial Domain Adaptation

Taotao Jing, Ming Shao+1 more|arXiv (Cornell University)|Aug 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 5

ひとこと要約

本稿では、部分的ドメイン適応のための識別的クロスドメイン特徴学習（DCDF）フレームワークを提案する。この手法は、重み付きクロスドメインセンター損失と重み付きクロスドメイングラフ伝播を用いて、疑似ラベル付けと特徴学習を共同最適化する。本手法は、関連するソースクラスの中心に未ラベルのターゲットサンプルを効果的にアライメントさせるとともに、関係のないソースクラスを抑制し、Office-31およびOffice&Caltech-10ベンチマークで最先端の性能を達成する。

ABSTRACT

Partial domain adaptation aims to adapt knowledge from a larger and more diverse source domain to a smaller target domain with less number of classes, which has attracted appealing attention. Recent practice on domain adaptation manages to extract effective features by incorporating the pseudo labels for the target domain to better fight off the cross-domain distribution divergences. However, it is essential to align target data with only a small set of source data. In this paper, we develop a novel Discriminative Cross-Domain Feature Learning (DCDF) framework to iteratively optimize target labels with a cross-domain graph in a weighted scheme. Specifically, a weighted cross-domain center loss and weighted cross-domain graph propagation are proposed to couple unlabeled target data to related source samples for discriminative cross-domain feature learning, where irrelevant source centers will be ignored, to alleviate the marginal and conditional disparities simultaneously. Experimental evaluations on several popular benchmarks demonstrate the effectiveness of our proposed approach on facilitating the recognition for the unlabeled target domain, through comparing it to the state-of-the-art partial domain adaptation approaches.

研究の動機と目的

• ソースドメインにターゲットドメインよりも多くのクラスを含む部分的ドメイン適応の課題に対処すること。
• 知識をターゲットドメインに転送する過程で、関係のないソースクラスからの負の転送を低減すること。
• 共有クラス中心に注目することで、ソースとターゲットドメイン間の特徴アライメントを向上させること。
• 疑似ラベルと特徴表現を繰り返し精緻化する共同最適化戦略を開発すること。
• ラベルが限られている、あるいは全くないターゲットドメインデータに対して、より良い一般化と認識性能を達成すること。

提案手法

• 関連するソースクラス中心への再構成係数を高くすることで、未ラベルのターゲットサンプルが関連するソースクラス中心に再構成されるよう促す重み付きクロスドメインセンター損失を提案する。
• エッジ重みが関連するソースクラスへの接続を強調するように学習される重み付きクロスドメイングラフを導入する。
• 疑似ラベルの精緻化と特徴埋め込みの更新を交互に繰り返すEMに類似た反復的最適化プロセスを定式化する。
• 確率的再構成フレームワークを用いて、意味的に類似したソース中心に対しては高い再構成重みを、外れ値に対しては低い重みを割り当てる。
• ドメイン不変特徴学習とクラスごとのアライメントを統合し、周辺分布および条件付き分布の乖離を最小化する。
• 学習可能なハイパーパrameter αp と αc を用いて、予測項とセンター損失項の寄与度をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 関係のないソースクラスをフィルタリングしながら、未ラベルのターゲットサンプルを関連するソースクラス中心に効果的にアライメントする方法は何か？
• RQ2 重み付きクロスドメイングラフ伝播機構は、部分的ドメイン適応におけるラベル転送精度を向上させ得るか？
• RQ3 提案された重み付きセンター損失は、外れ値のソースクラスからの負の転送をどの程度低減するか？
• RQ4 疑似ラベル付けと特徴学習の間の反復的最適化戦略は、全体の認識性能をどのように向上させるか？
• RQ5 提案手法は、標準的な部分的ドメイン適応ベンチマークで、既存の最先端手法を上回る性能を達成するか？

主な発見

• 提案されたDCDFフレームワークは、Office-31およびOffice&Caltech-10ベンチマークで最先端の性能を達成し、既存の部分的ドメイン適応手法を上回る。
• 適応後、ターゲットサンプルは共有ソースクラス中心（緑の円）にうまくアライメントされている一方で、関係のないソースクラス（赤の円）に散らばることを避けていることが、特徴可視化で示されている。
• 適応後、同じクラスのソースとターゲット特徴間のコサイン類似度が顕著に向上し、異なるクラス間の類似度は低下していることから、ドメインアライメントが改善されたことが示唆される。
• 重み付きグラフで学習されたクラス重みは、外れ値クラスの重みが小さくなったり完全に消えることで、外れ値の抑制が有効に機能していることが確認された。
• ほとんどのタスクで5イテレーション以内に収束し、高速かつ安定した最適化が実現された。
• 次元数の変化に対しても性能が安定しており、埋め込み次元数を高くするとわずかな向上が観察された。また、ハイパーパrameter αp と αc は、タスク間でほとんど感度がなかった。