[論文レビュー] Robust Data Geometric Structure Aligned Close yet Discriminative Domain Adaptation

Lingkun Luo, Xiaofang Wang+2 more|arXiv (Cornell University)|May 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 17

ひとこと要約

本稿では、共有潜在部分空間内での最大平均差分(MMD)を用いた分布整合化と、低ランクおよびスparser表現を用いた幾何構造整合化を統合する、RSA-CDDAと呼ばれる新規なドメイン適応手法を提案する。反復的最適化によりドメインシフトを同時に最小化し、クラス間分離性を向上させることで、16のクロスドメイン画像分類ベンチマークで最先端の性能を達成し、全体の平均精度は57.02%に達し、COIL20では95.35%の精度を記録した。

ABSTRACT

Domain adaptation (DA) is transfer learning which aims to leverage labeled data in a related source domain to achieve informed knowledge transfer and help the classification of unlabeled data in a target domain. In this paper, we propose a novel DA method, namely Robust Data Geometric Structure Aligned, Close yet Discriminative Domain Adaptation (RSA-CDDA), which brings closer, in a latent joint subspace, both source and target data distributions, and aligns inherent hidden source and target data geometric structures while performing discriminative DA in repulsing both interclass source and target data. The proposed method performs domain adaptation between source and target in solving a unified model, which incorporates data distribution constraints, in particular via a nonparametric distance, i.e., Maximum Mean Discrepancy (MMD), as well as constraints on inherent hidden data geometric structure segmentation and alignment between source and target, through low rank and sparse representation. RSA-CDDA achieves the search of a joint subspace in solving the proposed unified model through iterative optimization, alternating Rayleigh quotient algorithm and inexact augmented Lagrange multiplier algorithm. Extensive experiments carried out on standard DA benchmarks, i.e., 16 cross-domain image classification tasks, verify the effectiveness of the proposed method, which consistently outperforms the state-of-the-art methods.

研究の動機と目的

• ソースドメインとターゲットドメインのデータ分布が異なるという、教師なしドメイン適応におけるドメインシフトの課題に対処すること。
• ドメイン間の周辺分布およびクラス条件付き分布を同時に整合させることで、一般化性能を向上させること。
• 低ランクおよびスパース表現を用いて、ソースおよびターゲットデータの内在的隠れ幾何構造を明示的にモデル化・整合化すること。
• 共有部分空間内でのクラス間サンプルの反発を促進することで、判別力を強化すること。
• 分布整合化、幾何構造整合化、判別学習を統合する包括的な最適化フレームワークの構築

提案手法

• 本手法は、MMDを用いてソースとターゲットの周辺分布およびクラス条件付き分布の乖離を最小化する包括的な最適化モデルを構築する。
• 局所性を考慮した方法で、ターゲットデータをソースデータを用いて再構築することで、隠れた幾何構造の整合化を実現する。
• データの外れ値に対して頑健性を高めるために、列方向のスパース再構築誤差行列を導入する。
• 最適化は交互に実行される：部分空間学習にはレイリー商アルゴリズム、低ランクおよびスパース制約の解法には不正確な増大ラグランジュ乗数（IALM）アルゴリズムを用いる。
• 連続的に部分空間を精緻化することで、分布を近づけつつ、クラス間サンプルを分離する。
• 分布整合化、幾何構造整合化、判別学習を統合した単一の最適化目的関数内で、包括的なフレームワークとして動作する。

実験結果

リサーチクエスチョン

• RQ1 包括的なドメイン適応フレームワークは、ソースドメインとターゲットドメイン間のデータ分布と内在的幾何構造を効果的に統合できるか？
• RQ2 分布整合化と幾何構造整合化を共同で最適化することで、教師なしドメイン適応における一般化性能がどのように向上するか？
• RQ3 再構築誤差にスパarsityを強制することで、ドメイン適応における外れ値への耐性がどの程度向上するか？
• RQ4 提案手法は、多様なクロスドメイン画像分類タスクにおいて、最先端手法を上回る性能を達成するか？
• RQ5 ターゲットデータにラベルが存在せず、ドメインシフトが顕著である状況でも、本手法は高い精度を維持できるか？

主な発見

• RSA-CDDAは、16のクロスドメイン画像分類タスク全体で57.02%の平均精度を達成し、9つのベースライン手法をすべて上回った。
• 16の個別のドメイン適応タスクのうち9つで第一位の精度を記録し、一貫した優位性を示した。
• COIL20データセットでは95.35%の精度を達成し、2番目に良い手法（92.71%）を顕著に上回り、困難なドメインシフトに対しても有効性が顕著に示された。
• MNIST vs USPSタスクでは77.50%の精度を達成し、2番目に良い手法（76.22%）を顕著に上回った。
• W→Dタスクでは94.90%の精度を記録し、すべての手法の中で最高を記録し、大規模なドメインシフトに対しても強力な性能を示した。
• アブレーションスタディの結果、MMD、低ランク、スパース、判別学習の各コンポーネントの統合が不可欠であることが確認され、いずれかのコンponentを削除すると性能が低下した。