[論文レビュー] Efficient Learning of Domain-invariant Image Representations

Judy Hoffman, Erik Rodner+3 more|arXiv (Cornell University)|Jan 15, 2013

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 149

ひとこと要約

本稿では、最大マージンドメイン変換（MMDT）を提案する。MMDTは、線形特徴変換と分類器を同時に学習することで、ターゲットドメインの特徴をソースドメインに一致させ、マルチクラスでスケーラブルなドメイン適応を可能にする手法である。MMDTは、分類損失を直接最適化しつつ、未知のクラスや異種の特徴空間への転送を可能にすることで、特に大規模データセットにおいて、先行手法を上回る精度と効率性を達成する。

ABSTRACT

We present an algorithm that learns representations which explicitly compensate for domain mismatch and which can be efficiently realized as linear classifiers. Specifically, we form a linear transformation that maps features from the target (test) domain to the source (training) domain as part of training the classifier. We optimize both the transformation and classifier parameters jointly, and introduce an efficient cost function based on misclassification loss. Our method combines several features previously unavailable in a single algorithm: multi-class adaptation through representation learning, ability to map across heterogeneous feature spaces, and scalability to large datasets. We present experiments on several image datasets that demonstrate improved accuracy and computational advantages compared to previous approaches.

研究の動機と目的

• トレーニング（ソース）ドメインとテスト（ターゲット）ドメインの間で特徴分布が異なるというドメインシフトの課題に対処すること。
• ターゲットドメインにおけるラベルなしまたは未知のカテゴリに一般化できない先行手法の限界を克服すること。
• マルチクラス適応と異種の特徴空間をサポートする、スケーラブルで効率的なアルゴリズムの開発。
• 特徴変換学習中に最大マージン分類器の目的関数を直接最適化すること。
• 二次的制約スケーリングを回避することで、大規模データセットにおける計算効率を確保すること。

提案手法

• MMDTは、ターゲットドメインの特徴をソースドメインに一致するドメイン不変空間に写像する非対称な線形変換行列 W を学習する。
• 誤分類誤差に基づく単一の統一損失関数を用いて、W と分類器パラメータを同時に最適化する。
• ARC-t で用いられる類似度ベースの制約を、複雑さを低減し、データセットサイズに線形にスケーリング可能なハイパーハイパープランベースの制約に置き換える。
• 異なる次元性を持つソースドメインとターゲットドメイン間の特徴マッピングをサポートする。
• MMDTは線形空間で効率的に動作するように設計されており、大規模データセットに適しており、非線形適応のためのカーネル化も可能である。
• フレームワークにより、ラベルあり・ラベルなしの両方のカテゴリに、ドメイン不変のシフト（例：照明、ノイズ）を転送可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴変換と分類器学習の統合最適化は、マルチクラスドメイン適応の精度を向上させることができるか？
• RQ2 ラベル付き例が不要な状況でも、ターゲットドメインにおける未知のラベルなしカテゴリに一般化できるか？
• RQ3 既存の手法と比較して、二次的制約増加を伴うものと比較して、大規模データセットに線形にスケーリングできるか？
• RQ4 異種の特徴空間を扱いながらも、高い分類性能を維持できるか？
• RQ5 最大マージン目的関数の直接最適化は、類似度ベースの特徴学習よりも高い精度をもたらすか？

主な発見

• MMDTは、Office や Bing データセットといった標準ベンチマークにおいて、GFK や ARC-t といったカーネル化された手法を含め、競合手法よりも高いマルチクラス精度を達成する。
• Office データセットにおいて、MMDTは、amazon→dslr および webcam→dslr のドメインシフトの両方で、SVM ベースラインと ARC-t を上回る。
• webcam→dslr のシフトにおいて、MMDTは、ラベル付きターゲットデータが限られている状況でも、標準SVMよりも適応的利点を示す。
• MMDTはデータセットサイズに比例して線形にスケーリングされるが、ARC-t の制約数は二次的に増加するため、大規模データセットでは著しく短い学習時間となる。
• 学習時間の比較において、MMDTは ARC-t よりも速く、GFK と同等の速度を達成しながらも、より高い精度を実現する。
• 本手法は、ターゲットドメインにラベル付き例が存在しない状況でも、ドメイン不変特徴を未知のカテゴリに成功して一般化する。