[論文レビュー] Learning with Augmented Features for Heterogeneous Domain Adaptation

Lixin Duan, Dong Xu+1 more|arXiv (Cornell University)|Jun 18, 2012

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 223

ひとこと要約

本稿では、異種ドメイン変換（HDA）のための新しい手法である不均一特徴拡張（HFA）を提案する。HFAは、2つの射影行列を用いてソースドメインとターゲットドメインのデータを共通の部分空間にアライメントし、変換された特徴量に元の特徴量とゼロを組み合わせて拡張する。この手法により、SVMおよびSVRの有効な利用が可能となり、交互最適化アルゴリズムを用いてベンチマークデータセット上で最先端の性能を達成する。

ABSTRACT

We propose a new learning method for heterogeneous domain adaptation (HDA), in which the data from the source domain and the target domain are represented by heterogeneous features with different dimensions. Using two different projection matrices, we first transform the data from two domains into a common subspace in order to measure the similarity between the data from two domains. We then propose two new feature mapping functions to augment the transformed data with their original features and zeros. The existing learning methods (e.g., SVM and SVR) can be readily incorporated with our newly proposed augmented feature representations to effectively utilize the data from both domains for HDA. Using the hinge loss function in SVM as an example, we introduce the detailed objective function in our method called Heterogeneous Feature Augmentation (HFA) for a linear case and also describe its kernelization in order to efficiently cope with the data with very high dimensions. Moreover, we also develop an alternating optimization algorithm to effectively solve the nontrivial optimization problem in our HFA method. Comprehensive experiments on two benchmark datasets clearly demonstrate that HFA outperforms the existing HDA methods.

研究の動機と目的

• ソースドメインとターゲットドメインの特徴空間が異なり、次元数が異なる状況におけるドメインシフトの課題に対処すること。
• このような異種ドメイン間での有効な知識移転を可能にする統一フレームワークの構築すること。
• SVM や SVR といった従来の学習モデルの HDA における性能を、拡張された特徴表現の導入によって向上させること。
• HFA 目的関数のカーネル化を通じて、高次元データに対するスケーラブルな解決策を提供すること。

提案手法

• ソースドメインおよびターゲットドメインのデータを共通の低次元部分空間にマップするため、ドメイン固有の2つの射影行列を学習する。
• 射影された特徴量に元の特徴量とゼロを組み合わせることで、拡張された特徴表現を生成し、構造的および識別的情報を保持する。
• HFA 目的関数はヒンジ損失を用いて定式化され、SVM や SVR による線形および非線形学習への統合を可能にする。
• 高次元データを効率的に処理するために、カーネルトリックを用いた HFA のカーネル化されたバージョンを導出する。
• 射影行列とモデルパラメータを同時に学習できる交互最適化アルゴリズムを開発する。
• 共通部分空間におけるクラス分離性を保持しつつ、ドメインの差違を最小化することを保証する。

実験結果

リサーチクエスチョン

• RQ1 次元数が異なるソースドメインとターゲットドメインの不均一な特徴量を、ドメイン変換においてどのように効果的にアライメントできるか？
• RQ2 拡張された特徴表現は、SVM などの標準分類器の性能を、異種ドメイン変換において向上させることができるか？
• RQ3 HFA において、射影行列とモデルパラメータを効果的に共同で学習するための最適化戦略は何か？
• RQ4 カーネル化された HFA の手法は、高次元データに対してスケーラブルでありながら、性能を維持できるか？
• RQ5 HFA は、標準のベンチマークデータセットにおいて、既存の HDA 手法を上回る性能を示すか？

主な発見

• HFA は、異種ドメイン変換のための2つのベンチマークデータセットで最先端の性能を達成した。
• 本手法は、ソースドメインおよびターゲットドメインの両方のデータを効果的に活用することで、既存の HDA 手法と比較して分類精度を顕著に向上させた。
• 元の特徴量とゼロ成分を含む拡張された特徴量の使用により、モデルの一般化性能および識別力が向上した。
• 交互最適化アルゴリズムは信頼性があり、効率的に収束し、実用的導入が可能であることを示した。
• カーネル化された HFA は高次元データに対しても強力な性能を維持しており、スケーラビリティを示した。
• 実験的結果により、射影による特徴アライメントと拡張を組み合わせることで、顕著な性能向上が達成されることを確認した。