[論文レビュー] Towards Adapting ImageNet to Reality: Scalable Domain Adaptation with Implicit Low-rank Transformations

Erik Rodner, Judy Hoffman+3 more|arXiv (Cornell University)|Aug 20, 2013

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 9

ひとこと要約

本稿では、ソース（ImageNet）ドメインとターゲット（実世界のシーン）ドメイン間の暗黙的低ランク変換を学習することで、視覚認識におけるスケーラブルなドメイン適応手法を提案する。双対座標降下法を用いた暗黙的ランク制約付き最適化により、ターゲットの例が存在しない場合でさえも、新しいカテゴリに効率的に分類器を適応可能にし、計算コストを最小限に抑えつつ、実世界のベンチマークで最先端の性能を達成する。

ABSTRACT

Images seen during test time are often not from the same distribution as images used for learning. This problem, known as domain shift, occurs when training classifiers from object-centric internet image databases and trying to apply them directly to scene understanding tasks. The consequence is often severe performance degradation and is one of the major barriers for the application of classifiers in real-world systems. In this paper, we show how to learn transform-based domain adaptation classifiers in a scalable manner. The key idea is to exploit an implicit rank constraint, originated from a max-margin domain adaptation formulation, to make optimization tractable. Experiments show that the transformation between domains can be very efficiently learned from data and easily applied to new categories. This begins to bridge the gap between large-scale internet image collections and object images captured in everyday life environments.

研究の動機と目的

• ドメインシフトの影響により、ImageNetで学習したモデルの性能が実世界のシーン理解タスクで低下する問題に対処すること。
• ターゲットドメインにラベル付き例が存在しない場合でも、視覚分類器を新しいカテゴリに移行可能にすること。
• 高次元特徴量と大規模データセットを扱える、変換ベースのドメイン適応のスケーラブルな最適化手法を開発すること。
• 大規模データ環境では実行不可能な、従来のカーネル空間法やフル行列法の限界を克服すること。
• 異なる特徴タイプやドメイン分布（重複のない特徴空間も含む）に対しても適用可能な汎用性を示すこと。

提案手法

• 最大マージンドメイン適応問題を直接双対座標降下法に再定式化することで、スケーラブルな最適化を可能にする。
• 特徴次元数に応じて計算複雑度を二次的から線形に削減するため、変換行列に暗黙的低ランク制約を導入する。
• 重複カテゴリのラベル付きデータのみを用いて、カテゴリに依存しない一様な変換をソースおよびターゲットドメイン特徴量から学習する。
• 学習済み変換を直接適用することで、ターゲットドメインの新しいカテゴリに対しても、ソースドメイン分類器を効果的に適応可能にする。
• 異種特徴空間間で変換を学習することで、異なる特徴タイプ間の適応を可能にする。
• フル変換行列の明示的計算を回避する双対最適化フレームワークを採用し、大規模データでの効率的学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元特徴量と大規模データセット（例：ImageNet）を対象とした変換ベースドメイン適応は、スケーラブルに実現可能か？
• RQ2 1つのカテゴリに依存しない変換が、ImageNetと実世界のシーンデータセット間のデータセットバイアスを効果的に補正できるか？
• RQ3 ターゲットドメインにラベル付き例が存在しない状況でも、視覚分類器を新しいカテゴリに成功裏に移行可能か？
• RQ4 ソースドメインとターゲットドメインが異なる特徴表現や次元数を用いる場合、本手法の性能はどのように変化するか？
• RQ5 暗黙的低ランク制約により、性能に劣化を来すことなく、効率的な最適化が可能になるか？

主な発見

• 本手法は、700件のターゲット学習例を用いたインシーンオブジェクト分類で59.21%の精度を達成し、SVM-Target（57.53%）やSVM-Source（53.14%）を上回った。
• 1カテゴリあたり1件のラベル付きターゲット例のみを用いても、1000DのImageNet特徴量から1500DのBoW特徴量への変換（SUN2012）において18.2%の認識精度を達成し、SVM-Target（16.9%）を上回った。
• 11のホールドアウトカテゴリに対して、ターゲットドメインに例が一切存在しない状況でも、オラクルSVM-Target（最大100件のラベル付き例を用いた学習）を上回る性能を示した。
• 暗黙的低ランク制約により、反復処理ごとに線形時間で最適化が可能となり、従来のカーネルベース法やフル行列法では実行不可能な大規模データセットにもスケーラブルに適用可能となった。
• 学習された変換はカテゴリに依存せず、オブジェクト中心の画像とシーンに埋め込まれた画像の違いに起因するドメインシフトを効果的に緩和した。
• 異なる特徴タイプや次元数に対しても汎用的に適応可能であり、特徴空間の不一致が生じる困難な適応状況においても、高いロバスト性を示した。