[論文レビュー] Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift

Ruijia Xu, Ziliang Chen+3 more|arXiv (Cornell University)|Mar 2, 2018

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 54

ひとこと要約

多源の教師なしドメイン適応（カテゴリシフトの可能性を伴う）に対し、Deep Cocktail Network（DCTN）を提案し、マルチウェイ敵対学習とソース別ルート重み付けを用いてターゲットドメインの予測を統合する。

ABSTRACT

Unsupervised domain adaptation (UDA) conventionally assumes labeled source samples coming from a single underlying source distribution. Whereas in practical scenario, labeled data are typically collected from diverse sources. The multiple sources are different not only from the target but also from each other, thus, domain adaptater should not be modeled in the same way. Moreover, those sources may not completely share their categories, which further brings a new transfer challenge called category shift. In this paper, we propose a deep cocktail network (DCTN) to battle the domain and category shifts among multiple sources. Motivated by the theoretical results in \cite{mansour2009domain}, the target distribution can be represented as the weighted combination of source distributions, and, the multi-source unsupervised domain adaptation via DCTN is then performed as two alternating steps: i) It deploys multi-way adversarial learning to minimize the discrepancy between the target and each of the multiple source domains, which also obtains the source-specific perplexity scores to denote the possibilities that a target sample belongs to different source domains. ii) The multi-source category classifiers are integrated with the perplexity scores to classify target sample, and the pseudo-labeled target samples together with source samples are utilized to update the multi-source category classifier and the feature extractor. We evaluate DCTN in three domain adaptation benchmarks, which clearly demonstrate the superiority of our framework.

研究の動機と目的

• 複数の多様なソースが利用可能で、同じカテゴリを共有していない可能性がある場合の教師なしドメイン適応の動機づけと解決。
• ターゲットをソース分布の重み付き結合として表現し、交互の敵対的・識別的ステップを通じて最適化する深層カクテルネットワーク（DCTN）の提案。
• ターゲットデータの擬似ラベルを用いたディープラーニングの学習パイプラインを、マルチウェイ敵対的ドメイン適応とターゲット識別適応を含む形で実用化する。

提案手法

• 共通特徴抽出器、マルチソースドメイン識別器、マルチソースカテゴリ分類器、学習不能なターゲット分類演算子という4つの構成要素を提案。
• ターゲット-ソース間の差異を最小化し、ソース固有のパープレックスリー値を生成するためにマルチウェイ敵対学習を用いる。
• ソース固有の分類器をパープレックスリー値に基づき重 weighting してターゲット予測を計算し、カテゴリシフト対応として統合してターゲットラベルを割り当てる。
• 交互プロトコルで訓練する： (i) 敵対的/ドメイン整合性ステップ； (ii) 擬似ラベル付きターゲットとソースデータを用いた識別的適応。
• 最も有益なソース-ターゲットペアに焦点を当てるオンラインハードドメインバッチマイニングを含む学習アルゴリズムを提示。

実験結果

リサーチクエスチョン

• RQ1 複数のソースが存在し、カテゴリセットが異なる可能性がある場合に、どのように効果的に教師なしドメイン適応を実行できるか？
• RQ2 ソース分類器の分布重み付き結合は、マルチソースドメイン適応におけるターゲット予測を改善できるか？
• RQ3 ターゲットの擬似ラベルをマルチソース分類器と組み合わせて導入することは、カテゴリシフト下で識別的転移を強化するか？
• RQ4 マルチウェイ敵対学習とソース固有のパープレックスリー付けが、ベンチマーク全体でターゲット性能に与える影響はどの程度か？

主な発見

Standards	Models	A,W→D	A,D→W	D,W→A	Avg
Office-31 vanilla	DCTN (ours)	99.6	96.9	54.9	83.8
Office-31 vanilla	RTN	99.6?	96.8?	51.0?	73.7?
Office-31 vanilla	DAN	99.0	96.0	54.0	72.9
Office-31 vanilla	RevGrad	99.2	96.4	53.4	74.3
Office-31 vanilla	DRCN	99.0	96.4	56.0	73.6
Office-31 vanilla	GFK	95.0	95.6	52.4	68.7
Office-31 vanilla	TCA	95.2	93.2	51.6	68.8
Office-31 vanilla	Source combine ( Source only )	98.1	93.2	50.2	80.5
Office-31 vanilla	RevGrad (second)	98.8	96.2	54.6	83.2
Office-31 vanilla	DAN (second)	98.8	95.2	53.4	82.5
Office-31 vanilla	Multi-source (Source only)	98.2	92.7	51.6	80.8
Digits-five vanilla	DCTN (ours)	77.5	70.9	74.2	74.2

• DCTNは、Office-31、ImageCLEF-DA、Digits-fiveの標準MDA設定において最先端の性能を達成。
• カテゴリシフト設定では、DCTNは堅牢な性能を維持し、正の転移利得を示す一方、いくつかのベースラインは劣化を示す。
• Office-31（ベネラル）全体で、DCTNは 99.6, 96.9, 54.9, 83.8（A,W→D; A,D→W; D,W→A; Avg）を達成。
• ImageCLEF-DA（ベネラル）全体で、DCTNは 68.8, 90.0, 83.5（I,C→P; I,P→C; P,C→I）で80.8 Avgを達成。
• Digits-five（ベネラル）全体で、DCTNは報告されたドメイン転送においてベースラインより強い改善を示す（例：mm, mt, sy, up→svおよびmt, sv, sy, up→mmで77.5, 70.9, 74.2）.
• アブレーション分析は、マルチウェイ敵対学習と擬似ラベリング戦略の両方が性能向上に寄与することを示している。