[論文レビュー] Subspace Alignment For Domain Adaptation

Basura Fernando, Amaury Habrard+2 more|arXiv (Cornell University)|Sep 18, 2014

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 38

ひとこと要約

本稿では、領域間のズレを低減するために、Bregman散発の最小化により、閉形式の線形変換行列を用いてソースドメインとターゲットドメインの部分空間を一致させる、シンプルで効果的なドメイン適応手法であるSubspace Alignment（SA）を提案する。この手法は、最小限のハイパーパrameterチューニングで、Office、Caltech、ImageNetの複数のベンチマークデータセットで最先端の性能を達成し、PLS、LDA、ディープラーニングベースラインを含む既存のDA手法を上回る。

ABSTRACT

In this paper, we introduce a new domain adaptation (DA) algorithm where the source and target domains are represented by subspaces spanned by eigenvectors. Our method seeks a domain invariant feature space by learning a mapping function which aligns the source subspace with the target one. We show that the solution of the corresponding optimization problem can be obtained in a simple closed form, leading to an extremely fast algorithm. We present two approaches to determine the only hyper-parameter in our method corresponding to the size of the subspaces. In the first approach we tune the size of subspaces using a theoretical bound on the stability of the obtained result. In the second approach, we use maximum likelihood estimation to determine the subspace size, which is particularly useful for high dimensional data. Apart from PCA, we propose a subspace creation method that outperform partial least squares (PLS) and linear discriminant analysis (LDA) in domain adaptation. We test our method on various datasets and show that, despite its intrinsic simplicity, it outperforms state of the art DA methods.

研究の動機と目的

• トレーニングデータとテストデータが異なる分布に由来する視覚的分類におけるドメインシフトの課題に対処すること。
• ラベル付きソースデータとラベルなしターゲットデータのみが利用可能な、教師なし設定でも効果的に機能するドメイン適応手法を開発すること。
• 複雑な最適化や正則化のチューニングを回避する、計算的に効率的で理論的根拠のある手法を設計すること。
• 原理的で閉形式の解を用いてソースとターゲットの部分空間を一致させることで、ドメイン間の一般化を向上させること。
• 交差検証を必要とせず、部分空間次元の選択をロバストかつ自動的に行う手法を提供すること。

提案手法

• PCAを用いて、それぞれの共分散行列の上位固有ベクトルによって張られる部分空間として、ソースドメインとターゲットドメインを表現する。
• Bregman散発の最小化により、ソース部分空間をターゲット部分空間に一致させる線形変換行列Mを学習する。
• ソースとターゲットの固有ベクトル行列の積として、最適なMを閉形式で導出する。これにより、高速な計算が可能になる。
• 部分空間次元の最適選択のための2つの手法を提案：理論的安定性バウンドを用いる方法と、最尤推定（SA-MLE）を用いる方法。
• アライメント済みのソース部分空間を用いてソースデータを射影し、ターゲット部分空間を用いてターゲットデータを射影することで、単一の分類器を用いた統合分類を可能にする。
• ソースドメインのラベル情報を組み込むことで、ソース部分空間の判別性を向上させ、下流タスクの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲットの部分空間の間でシンプルで閉形式の線形変換を適用することで、教師なしドメイン適応におけるドメインシフトを効果的に低減できるか？
• RQ2 交差検証を必要とせず、部分空間次元を自動的に選択する方法は何か？その理論的および実験的利点は何か？
• RQ3 PLS、LDA、ディープメトリックラーニングといった既存手法に比べ、部分空間一致は視覚的ドメイン適応タスクで優れているか？
• RQ4 ソースドメインにおけるラベル情報の使用が、アライメント済み部分空間の判別力にどのように影響するか？
• RQ5 アーキテクチャやハイパーパrameterの変更を最小限に抑えても、Office、Caltech、ImageNet、Pascal-VOCといった多様なデータセットに一般化可能か？

主な発見

• Subspace Alignmentは、Office+Caltech-10データセットで12のドメイン適応タスクの平均精度48.5%を達成し、最先端の性能を示した。
• SA-MLEバージョンは、部分空間次元選択に交差検証を不要とし、最尤推定により安定した性能を達成した。
• A→CおよびC→Wタスクでは自己ラベル付け手法がSAを上回ったが、D→W（84.5%）およびW→D（86.2%）タスクでは、SAも強力な結果を達成した。
• 特に高次元データにおいて、PLSやLDAを上回る性能を示した。これは、グローバル共分散に基づく一致と内在的な正則化のおかげである。
• Bag-of-Words表現におけるより大きなビジュアルボキャブラリーは、ベースライン精度が低くても、部分空間ベースのDA性能を向上させた。
• 自己ラベル付け、インスタンス重み付け、辞書学習などの他の戦略と組み合わせることで、さらなる性能向上が可能であり、ハイブリッド手法への強い可能性を示唆している。