[論文レビュー] Deep Transfer Learning with Joint Adaptation Networks

Mingsheng Long, Zhu Han+2 more|arXiv (Cornell University)|May 21, 2016

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 115

ひとこと要約

JANは複数層の活性化の結合分布をドメイン間で整列させることにより移動可能な特徴を学習します。学習中にJMMDを最大化する対立的バリアント JAN-A を用います。

ABSTRACT

Deep networks have been successfully applied to learn transferable features for adapting models from a source domain to a different target domain. In this paper, we present joint adaptation networks (JAN), which learn a transfer network by aligning the joint distributions of multiple domain-specific layers across domains based on a joint maximum mean discrepancy (JMMD) criterion. Adversarial training strategy is adopted to maximize JMMD such that the distributions of the source and target domains are made more distinguishable. Learning can be performed by stochastic gradient descent with the gradients computed by back-propagation in linear-time. Experiments testify that our model yields state of the art results on standard datasets.

研究の動機と目的

• 入力とラベルの結合分布がドメイン間でシフトする無監督のドメイン適応を動機づける。
• ドメイン固有の層を跨いで結合活性化を揃える深層学習フレームワークを開発する。
• 多層特徴の結合分布差を測定し最小化するためのJMMDを提案する。
• SGDに適合しエンドツーエンドで学習可能な方法を提供し、拡張可能な深層転移学習を実現する。

提案手法

• JMMDを用いてドメイン固有の層間の活性化の結合分布を揃える Joint Adaptation Networks (JAN) を導入する。
• JMMDをテンソル積 RKHS における経験的結合埋め込み間の二乗距離として定義する。
• ミニバッチSGDのためのJMMDの線形時間で偏りのない推定量を提供する。
• JAN では、特徴と分類器を適応させるために、ソース分類損失とドメイン特有層でのJMMDペナルティを最小化する。
• JMMDを最大化するニューラル対立ネットワーク(θ)を追加して最小化-最大化の目的を形成することで JAN-A を提案する。
• 訓練を安定化させるために適応ウェイト λ の段階的スケジューリングを使用する。）

実験結果

リサーチクエスチョン

• RQ1 ドメインを横断して多層の活性化の結合分布を揃えることで、無監督ドメイン適応の性能を改善できるだろうか？
• RQ2 深層ネットワークでJMMDを効率的に計算・最適化してエンドツーエンド学習を可能にするにはどうすればよいか？
• RQ3 JMMDを対戦的に最大化する JAN-A は標準の JAN より実用的な利点を提供するか？
• RQ4 どのネットワーク層を結合適応してドメイン間で効果的に転送すべきか？

主な発見

Model (Architecture)	A→W	D→W	W→D	A→D	D→A	W→A	Avg
JAN (AlexNet)	74.9 ± 0.3	96.6 ± 0.2	99.5 ± 0.2	71.8 ± 0.2	58.3 ± 0.3	55.0 ± 0.4	76.0
JAN-A (AlexNet)	75.2 ± 0.4	96.6 ± 0.2	99.6 ± 0.1	72.8 ± 0.3	57.5 ± 0.2	56.3 ± 0.2	76.3
JAN (ResNet)	?	?	?	?	?	?	?
JAN-A (ResNet)	?	?	?	?	?	?	?

• JANとJAN-Aは、複数の従来手法と比較してOffice-31およびImageCLEF-DAベンチマークで最先端の結果を達成する。
• JANはAlexNetおよびResNetをバックボーンとするOffice-31の転送タスクの平均精度で、DAN、RTN、RevGrad などのいくつかのベースラインを上回る。
• JANとJAN-Aは高度な層の活性化の結合分布を整列させる利点を示す（AlexNetの fc6,fc7,fc8；ResNetの pool5,fc）。
• 偏りのない線形時間JMMD推定量は、深層ネットワークのミニバッチSGDとの効率的な統合を可能にする。
• 敵対的JMMD（JAN-A）はJANと同等またはやや向上した性能を示し、訓練の安定性を向上させる。）