[論文レビュー] Learning to Transfer Examples for Partial Domain Adaptation

Zhangjie Cao, Kaichao You+3 more|arXiv (Cornell University)|Mar 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 36

ひとこと要約

ETNは転送可能性重み付け機構と補助識別モジュールを導入し、外れ値のソースクラスを低重みに抑え、学習可能なエンドツーエンドの部分ドメイン適応フレームワークを介して転送を促進する。いくつかのPDAベンチマークで最先端の結果を達成。

ABSTRACT

Domain adaptation is critical for learning in new and unseen environments. With domain adversarial training, deep networks can learn disentangled and transferable features that effectively diminish the dataset shift between the source and target domains for knowledge transfer. In the era of Big Data, the ready availability of large-scale labeled datasets has stimulated wide interest in partial domain adaptation (PDA), which transfers a recognizer from a labeled large domain to an unlabeled small domain. It extends standard domain adaptation to the scenario where target labels are only a subset of source labels. Under the condition that target labels are unknown, the key challenge of PDA is how to transfer relevant examples in the shared classes to promote positive transfer, and ignore irrelevant ones in the specific classes to mitigate negative transfer. In this work, we propose a unified approach to PDA, Example Transfer Network (ETN), which jointly learns domain-invariant representations across the source and target domains, and a progressive weighting scheme that quantifies the transferability of source examples while controlling their importance to the learning task in the target domain. A thorough evaluation on several benchmark datasets shows that our approach achieves state-of-the-art results for partial domain adaptation tasks.

研究の動機と目的

• PDAの動機づけ：ソースラベル空間がターゲットラベル空間を包含し、訓練中にはターゲットラベルが未知であること。
• ETNを提案し、ドメイン不変特徴と逐次的な per-example 転送可能性重みを共同学習する。
• 関連性のないソース例を低重みに抑えつつ、共有クラスからの正の転送を高め、ネガティブ転送を削減する。
• 補助的識別経路を活用して例の転送可能性をより良く定量化し、PDAの性能を向上させる。

提案手法

• 各ソース例 xs に対する転送可能性重み w(xs) を導入し、ソース分類器とドメイン識別器への寄与をスケールさせる。
• 補助ラベル予測器 ˜Gy によって供給される補助ドメイン識別子 ˜Gd を用い、Leaky-softmax で転送可能性を定量化し、共有クラスと外れ値クラスを区別する。
• 重み w(xs) = 1 - ˜Gd(Gf(xs)) を、各ミニバッチ内で重みを正規化して計算する。
• ターゲット予測のエントロピー最小化を組み込み、未ラベルターゲットデータを活用する。
• 特徴抽出器、ソース分類器、ドメイン識別器を共同最適化するミニマックス目的を、補助コンポーネントを含めて定式化する。
• 識別情報とドメイン情報を統合してより良い重み付けを行うよう、補助コンポーネント ˜Gy と ˜Gd を訓練する。

実験結果

リサーチクエスチョン

• RQ1 PDAにおいて大規模なソースラベル空間から小規模なターゲットラベル空間へ知識を効果的に転移させるにはどうするか？
• RQ2 学習された per-example 転送可能性重みによって外れ値ソースクラスからのネガティブ転送を減らしつつ、共有クラスからの正の転送を維持できるか？
• RQ3 補助識別器に識別情報を取り入れることで転送可能性の定量化とPDAの性能は改善されるか？
• RQ4 エントロピー最小化がPDAにおける未ラベルターゲットデータの活用に与える影響は？

主な発見

Method	Ar -> Cl	Ar -> Pr	Ar -> Rw	Cl -> Ar	Cl -> Pr	Cl -> Rw	Pr -> Ar	Pr -> Cl	Pr -> Rw	Rw -> Ar	Rw -> Cl	Rw -> Pr	Avg
ETN	59.24	77.03	79.54	62.92	65.73	75.01	68.29	55.37	84.37	75.72	57.66	84.54	70.45

• ETNはOffice-31、Office-Home、ImageNet-Caltech、Caltech-256 PDAベンチマークで最先端の結果を達成。
• ResNet-50でOffice-Home上、ETNは平均70.45%Accuracyで、従来手法のSAN(65.30)やPADA(62.06)を上回る。
• ResNet-50でOffice-31とImageNet-Caltech上、ETNはそれぞれ平均79.08%を達成（表2および表3の文脈）。
• アブレーションを用いた場合、完全なモデルは分類器や補助コンポーネントを欠く変種よりも優れており、転送可能性重み付けと補助識別器の利益を確認している。
• ETNは複数のPDAタスク組み合わせで一貫して改善を示し、転送可能性の定量化とネガティブ転送緩和が堅牢であることを示す。