[論文レビュー] Partial Transfer Learning with Selective Adversarial Networks

Zhangjie Cao, Mingsheng Long+2 more|arXiv (Cornell University)|Jul 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 63

ひとこと要約

SANは共有ラベル空間のみで分布を整合させ、外れ値のソースクラスを除外することで知識を選択的に転送し、部分転移で最先端の結果を達成する。

ABSTRACT

Adversarial learning has been successfully embedded into deep networks to learn transferable features, which reduce distribution discrepancy between the source and target domains. Existing domain adversarial networks assume fully shared label space across domains. In the presence of big data, there is strong motivation of transferring both classification and representation models from existing big domains to unknown small domains. This paper introduces partial transfer learning, which relaxes the shared label space assumption to that the target label space is only a subspace of the source label space. Previous methods typically match the whole source domain to the target domain, which are prone to negative transfer for the partial transfer problem. We present Selective Adversarial Network (SAN), which simultaneously circumvents negative transfer by selecting out the outlier source classes and promotes positive transfer by maximally matching the data distributions in the shared label space. Experiments demonstrate that our models exceed state-of-the-art results for partial transfer learning tasks on several benchmark datasets.

研究の動機と目的

• ターゲットラベルがソースラベルの部分集合である場合の部分転移学習を動機づける。
• 外れ値ソースクラスからのネガティブ転送を回避する深層フレームワークを開発する。
• 共有ラベル空間での分布マッチングによってポジティブ転送を促進する。
• エントロピー最小化の要素を組み込んだエンドツーエンドの学習を可能にする。
• ベンチマークのドメイン適応データセットで最先端の性能を示す。

提案手法

• SANを導入し、C_t ⊂ C_sを扱うようにクラス別のドメイン識別器を用いて、ドメイン対抗ネットワークを拡張した。
• G_y(x)に基づく|C_s|のドメイン識別器に対して確率加重損失を計算し、ターゲットのインスタンスを関連する識別器に割り当てる。
• C_s \ C_tに対応する外れ値ソースクラスの識別器を低重み付けするクラスレベルの重み付けを組み込む。
• ターゲットのラベルなしデータに対してエントロピー最小化を適用し、G_yの予測を鋭くして転送のY_hatを改善する。
• 教師ありソース損失、ターゲットのエントロピー損失、選択的敵対損失を結合したエンドツーエンドの学習目的関数を提供する（式6および式7）。
• Office-31、Caltech-Office、およびImageNet-Caltechで6つの転送タスクとSAN-selectiveおよびSAN-entropyのアブレーションを含むベースラインに対してSANを評価する。

実験結果

リサーチクエスチョン

• RQ1 部分転移学習は、ターゲットラベル空間がソースラベル空間の部分集合である場合に達成できるか？
• RQ2 選択的敵対的適応は、共有空間でポジティブ転送を促進しつつ、外れ値ソースクラスからのネガティブ転送を抑制できるか？
• RQ3 エントロピー最小化は、選択的転送を改善するようにラベル予測子を洗練させるのに役立つか？
• RQ4 SANは部分転移タスクで標準的な敵対的/ドメイン適応手法と比較してどうか？

主な発見

• SANは6つのOffice-31転送タスクすべてで最先端の方法を上回る。
• SANはソース空間が小さいタスクやターゲット空間が小さい設定、さらには大規模ソースから小規模ターゲットへの設定でも顕著な向上を達成する。
• アブレーション実験は、SAN-selectiveがSANおよびSAN-entropyより劣ることを示し、選択的敵対的マッチングとエントロピー最小化の両方の利益を確認する。
• エントロピー最小化は、クラス数の不均衡が大きい場合（例：1000→84）に特に性能を高める。
• t-SNEの可視化は、SAN下でターゲットデータが関連ソースクラスへ鋭く分離され、正しく整合することを示す。
• 全体として、SANは安定した収束とRevGradおよびDAN/RTNベースラインに比べてネガティブ転送の扱いが優れていることを示す。