[論文レビュー] Learning Transferable Features with Deep Adaptation Networks

Mingsheng Long, Yue Cao+2 more|arXiv (Cornell University)|Feb 10, 2015

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 2,837

ひとこと要約

DAN は深層ネットワークにおける多層・多カーネル MK-MMD に基づくドメイン適応を導入し、上位層でソースとターゲットの特徴分布を整列させることで転移可能性を高め、標準ベンチマークで最先端の結果を達成します。

ABSTRACT

Recent studies reveal that a deep neural network can learn transferable features which generalize well to novel tasks for domain adaptation. However, as deep features eventually transition from general to specific along the network, the feature transferability drops significantly in higher layers with increasing domain discrepancy. Hence, it is important to formally reduce the dataset bias and enhance the transferability in task-specific layers. In this paper, we propose a new Deep Adaptation Network (DAN) architecture, which generalizes deep convolutional neural network to the domain adaptation scenario. In DAN, hidden representations of all task-specific layers are embedded in a reproducing kernel Hilbert space where the mean embeddings of different domain distributions can be explicitly matched. The domain discrepancy is further reduced using an optimal multi-kernel selection method for mean embedding matching. DAN can learn transferable features with statistical guarantees, and can scale linearly by unbiased estimate of kernel embedding. Extensive empirical evidence shows that the proposed architecture yields state-of-the-art image classification error rates on standard domain adaptation benchmarks.

研究の動機と目的

• データセットの偏りを低減し、深層ネットワークの転移可能性を向上させる必要性を、教師なしおよび半教師ありのドメイン適応の文脈で動機づける。
• タスク固有の層表現を再現核ヒルベルト空間（RKHS）に埋め込み、ドメイン間で平均埋め込みを一致させる深層適応アーキテクチャ（DAN）を提案する。
• 分布整合のためにカーネルを最適に選択する多カーネル MK-MMD 戦略を開発する。
• カーネル平均埋め込みの線形時間無偏推定量を用いて、スケーラブルな訓練を可能にする。
• 標準的なドメイン適応ベンチマークにおいて、最先端手法と比較して経験的な性能向上を示す。

提案手法

• タスク固有の層の隠れ表現を再現核ヒルベルト空間（RKHS）に埋め込み、ドメイン間で平均埋め込みを一致させる。
• ソースとターゲットの層表現間のドメイン差を測定し最小化するために、多カーネル MK-MMD を用いる。
• ミニバッチ SGD を用いたスケーラブルな訓練を可能にする、無偏線形時間 MK-MMD 推定量を適用する。
• 事前学習済みの AlexNet を微調整し、初期畳み込み層を凍結し、高次層を MK-MMD 正則化（l1=6 から l2=8）で適応する。
• 検定力を最大化し II 型エラーを最小化するために、2次計画法によってカーネル係数を最適化する（θ最適化と交互に実施）。
• MK-MMD によって定量化されたドメイン差とともに、ターゲットリスクをソースリスクに結びつける理論的境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲットドメイン間のドメイン差を減らすために、複数の深層ネットワーク層をどのように適応させられるか？
• RQ2 多カーネル MK-MMD アプローチは、単一カーネル手法と比較して深層表現の分布整合の有効性を改善できるか？
• RQ3 MK-MMD を深層ネットワークの正則化項として組み込むことで、スケーラブルで経験的に優れたドメイン適応を実現できるか？
• RQ4 DAN は従来手法と比較して、標準的なドメイン適応ベンチマーク上でどの程度の実証的 gains を示すか？

主な発見

手法	A→W	D→W	W→D	A→D	D→A	W→A	平均
DAN	68.5 ± 0.4	96.0 ± 0.3	99.0 ± 0.2	67.0 ± 0.4	54.0 ± 0.4	53.1 ± 0.3	72.9

• DAN は Office-31 の教師なしドメイン適応タスクで最先端の精度を達成し、例えば DAN はさまざまなタスクで 68.5-68.9%（バリアントに応じて平均 72.9-72.9%）に到達する。
• 多層適応（fc7–fc8）は単一層のバリアントを上回り、DAN（多層 MK-MMD）は単一カーネルおよび単一層のベースライン（例：DDC）を凌駕する。
• 多カーネル MK-MMD（DAN）は、単一カーネルのバリアントや他のベースラインより転移タスク全体で一貫して性能を向上させる。
• この手法は Office-31 および Office-10 + Caltech-10 のベンチマークで堅牢な性能を示し、TCA、GFK、CNN ベースのアプローチ、および従来のドメイン適応法を上回る。