[論文レビュー] Discriminative and Geometry Aware Unsupervised Domain Adaptation

Lingkun Luo, Liming Chen+3 more|arXiv (Cornell University)|Dec 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 12

ひとこと要約

本稿では、共有潜在空間において特徴の判別性と幾何構造の認識を同時に最適化する、新しい非教師ありドメイン適応手法 DGA-DA を提案する。クラス間分離のための反発力と幾何構造を保全する制約を統合することで、36の画像分類ベンチマークで最先端の手法を上回り、ベースライン比最大8.94%の精度向上を達成する。

ABSTRACT

Domain adaptation (DA) aims to generalize a learning model across training and testing data despite the mismatch of their data distributions. In light of a theoretical estimation of upper error bound, we argue in this paper that an effective DA method should 1) search a shared feature subspace where source and target data are not only aligned in terms of distributions as most state of the art DA methods do, but also discriminative in that instances of different classes are well separated; 2) account for the geometric structure of the underlying data manifold when inferring data labels on the target domain. In comparison with a baseline DA method which only cares about data distribution alignment between source and target, we derive three different DA models, namely CDDA, GA-DA, and DGA-DA, to highlight the contribution of Close yet Discriminative DA(CDDA) based on 1), Geometry Aware DA (GA-DA) based on 2), and finally Discriminative and Geometry Aware DA (DGA-DA) implementing jointly 1) and 2). Using both synthetic and real data, we show the effectiveness of the proposed approach which consistently outperforms state of the art DA methods over 36 image classification DA tasks through 6 popular benchmarks. We further carry out in-depth analysis of the proposed DA method in quantifying the contribution of each term of our DA model and provide insights into the proposed DA methods in visualizing both real and synthetic data.

研究の動機と目的

• 既存の非教師ありドメイン適応（DA）手法が分布整合性にのみ注力し、特徴の判別性や幾何構造を無視するという制限を解決する。
• センサの違いや照明の変化などの要因により、ソースとターゲットデータの分布に乖離が生じるドメインシフトの状況での一般化を向上させる。
• クラス間分離性の向上と、元のデータ多様体の内在的幾何構造の保持を同時に実現する統合フレームワークを開発する。
• アブレーションと可視化を通じて、判別性と幾何構造認識の重要性を理論的・実験的に裏付ける。

提案手法

• CDDA（Close yet Discriminative DA）を提案し、共有特徴空間における異なるクラスのサンプルを遠ざける反発力項を用いてクラス間分離を強制する。
• GA-DA（Geometry Aware DA）を導入し、ラベルスムージングの一貫性（LSC）と幾何構造の一貫性（GSC）の制約を用いて、データ多様体の内在的幾何構造を保持する。
• CDDAの判別的正則化とGA-DAの幾何構造保持機能を統合した統合モデル DGA-DA を開発し、両目的を同時に最適化する。
• 分布整合性のための最大平均差分（MMD）に加え、判別的および幾何的制約を組み合わせることで、ターゲットドメインの誤差の上界を最小化する目的関数を定式化する。
• 次元削減によって学習された共有潜在部分空間を用い、ソースおよびターゲットデータを射影し、整合性、分離性、構造保持性を同時に最適化する。
• 幾何構造に配慮したスムージングを用いたラベル伝搬を適用し、局所的近傍の一貫性を活用してターゲットドメインのラベルを推定することで、一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分布整合性に加えて特徴の判別性を向上させることで、ドメイン適応性能がどの程度向上するのか？
• RQ2 元のデータ多様体の幾何構造を保持することは、非教師ありドメイン適応におけるラベル推定と一般化にどのように影響するか？
• RQ3 単一のドメイン適応フレームワークに統合された際、判別性と幾何構造認識の相対的な貢献度は何か？
• RQ4 提案手法は、多様なクロスドメイン画像分類タスクにおいて一貫して最先端のDA手法を上回ることができるか？

主な発見

• DGA-DA は MNIST→USPS ベンチマークで GA-DA より 6.94% の精度向上を達成し、判別性の追加価値を示した。
• CDDA は同じベンチマークで JDA より 8.94% の向上を示し、クラス間分離が性能向上に顕著に寄与することを確認した。
• GA-DA は MNIST→USPS で JDA より 8.11% の精度向上を達成し、ラベル伝搬における幾何構造認識の重要性を裏付けた。
• DGA-DA は同じタスクで CDDA より 6.11% の精度向上を示し、判別性と幾何構造の共同最適化が最良の結果をもたらすことを示した。
• 可視化結果から、DGA-DA は円形や細長いクラスタなどの元のデータ多様体構造を効果的に保持するとともに、クラス内コンパクト性が高く、クラス間分離が明確であることが確認された。
• 6つの代表的なベンチマークを用いた36の画像分類タスクにおいて、22の最先端DAベースラインを一貫して上回り、本手法の頑健性と一般化能力を確認した。