[論文レビュー] Close Yet Distinctive Domain Adaptation

Lingkun Luo, Xiaofang Wang+4 more|arXiv (Cornell University)|Apr 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 19

ひとこと要約

本稿では、最大平均差分（MMD）を用いてドメインの乖離を最小化すると同時に、フィッシャーの線形判別分析にインspiredされた反発力項によってクラス間分離性を強化する、新たな特徴表現手法であるClose Yet Discriminative Domain Adaptation（CDDA）を提案する。この手法は36のクロスドメイン画像分類タスクにおいて最先端の性能を達成し、全体の平均精度が62.02%にのぼり、先行手法と比較して最大4.5ポイントも優れている。

ABSTRACT

Domain adaptation is transfer learning which aims to generalize a learning model across training and testing data with different distributions. Most previous research tackle this problem in seeking a shared feature representation between source and target domains while reducing the mismatch of their data distributions. In this paper, we propose a close yet discriminative domain adaptation method, namely CDDA, which generates a latent feature representation with two interesting properties. First, the discrepancy between the source and target domain, measured in terms of both marginal and conditional probability distribution via Maximum Mean Discrepancy is minimized so as to attract two domains close to each other. More importantly, we also design a repulsive force term, which maximizes the distances between each label dependent sub-domain to all others so as to drag different class dependent sub-domains far away from each other and thereby increase the discriminative power of the adapted domain. Moreover, given the fact that the underlying data manifold could have complex geometric structure, we further propose the constraints of label smoothness and geometric structure consistency for label propagation. Extensive experiments are conducted on 36 cross-domain image classification tasks over four public datasets. The comprehensive results show that the proposed method consistently outperforms the state-of-the-art methods with significant margins.

研究の動機と目的

• 既存のドメイン適応手法がドメインシフトを軽減する一方で、クラス間の判別力を維持または向上させることを無視するという限界を是正すること。
• ソースドメインとターゲットドメインを同時に引き寄せつつ、異なるクラスのサブドメインを反発させる特徴表現学習手法を開発すること。
• ラベル伝搬に幾何的構造の一貫性とラベルスムージングを組み込み、ラベルなしターゲットデータにおける一般化性能を向上させること。
• 提案手法の有効性を、多様なクロスドメイン画像分類ベンチマークにおいて実証すること。

提案手法

• 本手法は、ソースドメインとターゲットドメイン間の周辺分布および条件付き分布の乖離を最小化するため、最大平均差分（MMD）を用いる。これにより、潜在空間において両ドメインが近づく。
• MMD空間内でのクラス間距離を最大化するための反発力項を導入し、異なるクラス依存のサブドメインを分離することで、判別力を向上させる。
• ラベルスムージングと幾何的構造の一貫性を制約としてラベル伝搬を実行し、元のデータ多様体の内在的幾何構造を保つ。
• 本手法は2つのバージョンで実装される：CDDA(a)は単純なニューラルネットワーク予測子を用い、CDDA(b)は提案されたラベル伝搬を用いる。両者とも交互最適化により訓練される。
• 正則化パラメータα、k（近傍サイズ）、λ（MMD重み）などのハイパーパrameterは、最適な性能を得るために調整される。

実験結果

リサーチクエスチョン

• RQ1 ドメイン乖離の同時最小化とクラス間分離性の最大化を組み合わせることで、ドメイン適応性能が向上するか？
• RQ2 反発力項の導入が、共有潜在空間における学習特徴の判別品質にどのように影響するか？
• RQ3 ラベル伝搬に幾何的構造の一貫性とラベルスムージングを組み込むことで、ターゲットドメインにおけるモデルの一般化性能はどの程度向上するか？
• RQ4 α、k、λといったハイパーパrameterの設定に、本手法はどの程度感受性を示すか？

主な発見

• 反発力とラベル伝搬を統合したCDDA(b)は、36のクロスドメインタスク全体で62.02%の平均精度を達成し、6つのベースライン手法を大きく上回った。
• COIL20データセットでは、CDDA(b)が99.65%という顕著な精度を達成し、無教師ドメイン適応において優れた性能を示した。
• 反発力項のみを有するCDDA(a)は、JDAを約3ポイント上回る全体の平均精度を達成し、判別力向上に有効であることを示した。
• CDDA(a)よりもラベル伝搬を追加することで約2ポイントの性能向上が得られ、幾何的制約とスムージング制約が一般化性能を顕著に向上させることを示した。
• 本手法は約10イタレーションで安定して収束し、特にCOIL20においてαを0.99付近に設定した場合、ハイパーパrameterの変動に対して頑健であることがわかった。