[論文レビュー] Unsupervised Domain Adaptation by Backpropagation

Yaroslav Ganin, Victor Lempitsky|arXiv (Cornell University)|Sep 26, 2014

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 2,601

ひとこと要約

勾配反転層を導入し、ラベル予測器を訓練しつつドメイン不変特徴を学習することで、深層ネットワークの標準 backpropagation 内で教師なしドメイン適応を可能にする。Officeデータセットで最先端の結果を達成し、数字データセットや合成→実データのタスクで堅実な結果を示す。

ABSTRACT

Top-performing deep architectures are trained on massive amounts of labeled data. In the absence of labeled data for a certain task, domain adaptation often provides an attractive option given that labeled data of similar nature but from a different domain (e.g. synthetic images) are available. Here, we propose a new approach to domain adaptation in deep architectures that can be trained on large amount of labeled data from the source domain and large amount of unlabeled data from the target domain (no labeled target-domain data is necessary). As the training progresses, the approach promotes the emergence of "deep" features that are (i) discriminative for the main learning task on the source domain and (ii) invariant with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a simple new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation. Overall, the approach can be implemented with little effort using any of the deep-learning packages. The method performs very well in a series of image classification experiments, achieving adaptation effect in the presence of big domain shifts and outperforming previous state-of-the-art on Office datasets.

研究の動機と目的

• ターゲットドメインのラベルが利用できない場合にドメイン適応を動機づけ、豊富なラベル付きソースドメインデータを活用する。
• ディープ特徴学習にドメイン適応を埋め込み、判別力を保ちつつドメイン不変な表現を作る。
• 既存アーキテクチャに勾配反転層を組み込んだSGD互換の訓練手順を開発する。

提案手法

• 特徴抽出器 G_f、ラベル予測器 G_y、G_f の出力上で動作するドメイン分類器 G_d の3部ネットワークを提案する。
• G_f と G_d の間に勾配反転層を導入し、逆伝播されたドメイン損失を -λ 倍することで、ドメイン不変特徴を促進する。
• ソースデータ上のラベル損失を最小化しつつドメイン損失を最大化する鞍点目的関係を λ で制御する。
• 勾配反転層を介してバックワードパスを含む標準的な SGD 風の更新により最適化し、ドメイン不変特徴空間を得る。
• このアプローチを HΔH 距離ベースの一般化境界と関連づけ、ドメイン分類器の性能がドメイン差異を境界付けることを示す。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークを端から端まで訓練して、識別可能なラベルとドメイン不変性を同時に最適化することで、教師なしドメイン適応が実現できるか。
• RQ2 勾配反転機構を導入することで、学習中にソースとターゲットの特徴分布を効果的に揃えることができるか。
• RQ3 提案手法は従来手法と比べて標準的なドメイン適応ベンチマークでどのような性能を示すか。
• RQ4 実世界データセットへの適用、合成→実データおよびクロスドメインシフト（例：Officeデータセット）への適用は可能か。

主な発見

Method	Source	MNIST	Syn Numbers	SVHN	Syn Signs	Target	MNIST-M	SVHN	MNIST	GTSRB
Source only	MNIST	0.5749	-	-	-	MNIST-M	-	-	-	-
SA (Fernando et al., 2013)	MNIST	0.6078 (7.9%)	0.8672 (1.3%)	-	-	MNIST-M	-	-	-	-
Proposed approach	MNIST	0.8149 (57.9%)	0.9048 (66.1%)	0.7107 (29.3%)	0.8866 (56.7%)	MNIST-M	-	-	-	-
Train on target	-	0.9891	0.9244	0.9951	0.9987	-	-	-	-	-
Source only	Syn Numbers	-	0.8665	-	-	SVHN	-	-	-	-
SA (Fernando et al., 2013)	Syn Numbers	-	0.8672 (1.3%)	-	-	SVHN	-	-	-	-
Proposed approach	Syn Numbers	-	0.9048 (66.1%)	0.7107 (29.3%)	0.8866 (56.7%)	SVHN	-	-	-	-
Train on target	-	-	-	-	SVHN	0.9244	-	-	-	-
Source only	Syn Signs	-	-	-	0.7400	GTSRB	-	-	-	-
SA (Fernando et al., 2013)	Syn Signs	-	-	-	0.7635 (9.1%)	GTSRB	-	-	-	-
Proposed approach	Syn Signs	-	-	-	0.8866 (56.7%)	GTSRB	-	-	-	-
Train on target	-	-	-	-	GTSRB	0.9987	-	-	-	-
Source only	Office (Amazon→DSLR)	-	-	-	-	DSLR	0.433?	-	-	-
SA (Fernando et al., 2013)	Office (Amazon→DSLR)	-	-	-	-	DSLR	0.450	-	-	-
Proposed approach	Office (Amazon→DSLR)	-	-	-	-	DSLR	0.673±0.017	-	-	-
Source only	Office (Amazon→Webcam)	-	-	-	-	Webcam	0.464?	-	-	-
Proposed approach	Office (Amazon→Webcam)	-	-	-	-	Webcam	0.673±0.017	-	-	-

• ソースのみのモデルより、複数のクロスドメインタスクで顕著な改善を達成。
• MNIST から MNIST-M への場合、方法は 0.8149 の精度を達成し、ベースラインの 0.5749 を上回り SA ベースラインを上回る。
• Syn Numbers から SVHN への場合、方法は 0.9048 の精度を達成し、ベースラインの 0.8665 を上回り SA を上回る。
• SVHN から MNIST への場合、方法は 0.7107 の精度を達成し、ベースラインの 0.5919 を上回り SA を上回る。
• Syn Signs から GTSRB への場合、方法は 0.8866 の精度を達成し、ベースラインの 0.7400 を上回り SA を上回る。
• Office データセットの実験では、提案アプローチが 0.673±0.017 (Amazon→DSLR/Webcam) と 0.940±0.008 (DSLR→Webcam) および 0.937±0.010 (Webcam→DSLR) を達成し、従来手法を上回る。