[論文レビュー] Deep CORAL: Correlation Alignment for Deep Domain Adaptation

Baochen Sun, Kate Saenko|arXiv (Cornell University)|Jul 6, 2016

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 368

ひとこと要約

Deep CORAL は differentiable な CORAL ロスを深層ネットワークに組み込み、ソースとターゲットの特徴共分散を整列させることで、教師なしのエンドツーエンドのドメイン適応を実現し、最先端の結果を達成します。

ABSTRACT

Deep neural networks are able to learn powerful representations from large quantities of labeled input data, however they cannot always generalize well across changes in input distributions. Domain adaptation algorithms have been proposed to compensate for the degradation in performance due to domain shift. In this paper, we address the case when the target domain is unlabeled, requiring unsupervised adaptation. CORAL is a "frustratingly easy" unsupervised domain adaptation method that aligns the second-order statistics of the source and target distributions with a linear transformation. Here, we extend CORAL to learn a nonlinear transformation that aligns correlations of layer activations in deep neural networks (Deep CORAL). Experiments on standard benchmark datasets show state-of-the-art performance.

研究の動機と目的

• ターゲットドメインがラベルなしであることを前提とした教師なしドメイン適応を動機付ける。
• CORAL を深層で微分可能な損失として拡張し、エンドツーエンドの学習を実現する。
• 層アクティベーションの相関をドメイン間で整列させる非線形変換を学習する。
• 標準的なドメイン適応ベンチマークで優れた性能を示す。

提案手法

• ソースとターゲットの共分散行列間の平方フロベニウスノルムとして CORAL 損失を定義する。
• ネットワークの選択層におけるバッチアクティベーションから共分散を計算する。
• 分類損失と CORAL 損失をエンドツーエンドの目的関数に統合する。
• ソースデータはラベル付き、ターゲットデータはラベルなしで共通パラメータを共有する経路で訓練する。
• CORAL 損失を異なる層やアーキテクチャに適用する；AlexNet の最後の分類層（fc8）で実証する。

実験結果

リサーチクエスチョン

• RQ1 differentiable な CORAL 損失を深層ネットワークに組み込んで教師なしドメイン適応を実現できるか？
• RQ2 深層特徴の二次統計（共分散）を揃えることは、ラベル付きターゲットデータなしでもターゲット領域の性能を改善するか？
• RQ3 Deep CORAL は標準的なベンチマークで既存の教師なしドメイン適応法と比べてどうか？

主な発見

シフト	A → D	A → W	D → A	D → W	W → A	W → D	平均
GFK	52.4 ± 0.0	54.7 ± 0.0	43.2 ± 0.0	92.1 ± 0.0	41.8 ± 0.0	96.2 ± 0.0	63.4
SA	50.6 ± 0.0	47.4 ± 0.0	39.5 ± 0.0	89.1 ± 0.0	37.6 ± 0.0	93.8 ± 0.0	59.7
TCA	46.8 ± 0.0	45.5 ± 0.0	36.4 ± 0.0	81.1 ± 0.0	39.5 ± 0.0	92.2 ± 0.0	56.9
CORAL	65.7 ± 0.0	64.3 ± 0.0	48.5 ± 0.0	96.1 ± 0.0	48.2 ± 0.0	99.8 ± 0.0	70.4
CNN	63.8 ± 0.5	61.6 ± 0.5	51.1 ± 0.6	95.4 ± 0.3	49.8 ± 0.4	99.0 ± 0.2	70.1
DDC	64.4 ± 0.3	61.8 ± 0.4	52.1 ± 0.8	95.0 ± 0.5	52.2 ± 0.4	98.5 ± 0.4	70.6
DAN	65.8 ± 0.4	63.8 ± 0.4	52.8 ± 0.4	94.6 ± 0.5	51.9 ± 0.5	98.8 ± 0.6	71.3
D-CORAL	66.8 ± 0.6	66.4 ± 0.4	52.8 ± 0.2	95.7 ± 0.3	51.5 ± 0.3	99.2 ± 0.1	72.1

• Deep CORAL は Office ベンチマークで 7つのベースラインと比較して最先端の性能を達成。
• ドメインシフトのうち 6つのうち 3つで Deep CORAL が最高精度を得た；残り 3つでは改善幅は控えめ（≤0.7）。
• 分類損失と CORAL 損失を組み合わせることで、ソースとターゲットの両方の領域でバランスのとれた改善を生む。
• 視覚的分析は CORAL がファインチューニング時のドメイン差を小さく促進し、ソースの識別性能を保持することを示す。
• エンドツーエンドの CORAL 損失は CNNs とシームレスに統合され、さまざまな層やアーキテクチャに適用可能。