[論文レビュー] Discriminative Label Consistent Domain Adaptation

Lingkun Luo, Liming Chen+2 more|arXiv (Cornell University)|Feb 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 10

ひとこと要約

本稿では、理論的誤差境界の3つの項を同時に最適化する、未知のドメイン適応手法である判別的ラベル一貫性ドメイン適応（DLC-DA）を提案する。この手法は、ソースドメイン誤差、ドメイン乖離、ラベル関数の不一致の3つを同時に最適化することで、12のクロスドメイン画像分類ベンチマークで最先端の性能を達成し、従来手法よりも最大12ポイントの精度向上を実現した。

ABSTRACT

Domain adaptation (DA) is transfer learning which aims to learn an effective predictor on target data from source data despite data distribution mismatch between source and target. We present in this paper a novel unsupervised DA method for cross-domain visual recognition which simultaneously optimizes the three terms of a theoretically established error bound. Specifically, the proposed DA method iteratively searches a latent shared feature subspace where not only the divergence of data distributions between the source domain and the target domain is decreased as most state-of-the-art DA methods do, but also the inter-class distances are increased to facilitate discriminative learning. Moreover, the proposed DA method sparsely regresses class labels from the features achieved in the shared subspace while minimizing the prediction errors on the source data and ensuring label consistency between source and target. Data outliers are also accounted for to further avoid negative knowledge transfer. Comprehensive experiments and in-depth analysis verify the effectiveness of the proposed DA method which consistently outperforms the state-of-the-art DA methods on standard DA benchmarks, i.e., 12 cross-domain image classification tasks.

研究の動機と目的

• ソースとターゲットのデータが異なる分布に従うというドメインシフトの課題に対処すること。
• 理論的誤差境界の3つの成分（ソース誤差、ドメイン乖離、ラベル不一致）を同時に最小化することで、ターゲットドメインにおける一般化性能を向上させること。
• 共有特徴空間におけるクラス間距離を明示的に増加させることで、判別力の向上を図ること。
• 反復的ラベル回帰を通じてソースとターゲットドメイン間のラベル一貫性を強制し、悪影響を及える知識の転送を低減すること。
• 外れ値を考慮することで、頑健性を向上させ、性能の低下を防ぐこと。

提案手法

• 本手法は、低ランクかつスparser表現フレームワークを用いてドメイン乖離を最小化する判別的データ分布整合性（DDA）項を通じて、潜在的な共有特徴部分空間を学習する。
• 共有部分空間におけるクラス間距離を増加させるために、反発力項を導入し、判別的学習を強化する。
• 共有空間における特徴にソースラベルをスパース線形回帰（LCR）項で回帰することで、ラベル一貫性を強制する。
• 部分空間学習とラベル回帰を交互に繰り返す反復的最適化を実施し、直交性と安定性を維持する制約を課す。
• DDAとLCR項を統一的な枠組みで統合し、過学習を制御し外れ値に対応する正則化項を追加する。
• 直交性制約を伴うトレースベース最適化を用いることで、部分空間が判別的構造を保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 理論的誤差境界の3つの成分を統合的に最適化する統一的ドメイン適応フレームワークは、ターゲットドメインの一般化性能を向上させることができるか？
• RQ2 共有特徴空間におけるクラス間距離を明示的に増加させることで、ドメインシフトの状況下での分類性能にどのような影響を与えるか？
• RQ3 ソースとターゲットドメイン間のラベル一貫性を強制することで、知識の転送の悪影響をどの程度低減できるか？
• RQ4 特にクラス内およびドメイン間の乖離が著しい場合に、外れ値や分布の不一致に対して本手法はどの程度頑健であるか？
• RQ5 DDAとLCR項の共同最適化は、個別に最適化する場合と比較して、相乗効果をもたらすか？

主な発見

• 提案手法のDLC-DAは、Office+CaltechAデータセットに含まれる12の標準的なクロスドメイン画像分類ベンチマークにおいて、最先端のドメイン適応手法を一貫して上回る性能を達成した。
• 平均して、次善の手法DLC-DA(DDA)よりも3ポイントの精度向上を達成し、DLC-DA(LCR)よりも12ポイントの向上を示した。これはDDAとLCRのコンポonentが相補的であることを示している。
• 交互最適化プロセスをたった2回の反復で最適な性能に到達したため、収束が非常に速いことがわかった。
• 部分空間次元数k ∈ [20, 200] の広い範囲で安定した性能を示し、ハイパーパrameterの選択に対して頑健であることが確認された。
• 合成データ上の可視化により、DLC-DAは大きな乖離を示すデータ分布を効果的に整合させ、TCA、JDA、TJMといったベースライン手法と比較してクラス分離性を著しく向上させていることが確認された。
• アブレーションスタディの結果、DDAとLCR項の共同最適化が不可欠であることが示され、各コンポーネントを個別に最適化した場合に比べて顕著に低い性能にとどまっていた。