[論文レビュー] Unifying Unsupervised Domain Adaptation and Zero-Shot Visual Recognition

Qian Wang, Penghui Bu+1 more|arXiv (Cornell University)|Mar 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 12

ひとこと要約

本論文は、教師あり局所保存射影（SLPP）を用いてドメイン不変で判別性の高い部分空間を学習することで、教師なしおよびゼロショット視覚ドメイン適応の統一フレームワークを提案する。反復的なドメイン整合性を高めるために、信頼度を考慮した偽ラベル付け戦略を導入し、教師なしおよびゼロショット学習設定の両方で、Office-Caltech、Office31、Office-Home データセットにおいて最先端の性能を達成した。

ABSTRACT

Unsupervised domain adaptation aims to transfer knowledge from a source domain to a target domain so that the target domain data can be recognized without any explicit labelling information for this domain. One limitation of the problem setting is that testing data, despite having no labels, from the target domain is needed during training, which prevents the trained model being directly applied to classify unseen test instances. We formulate a new cross-domain classification problem arising from real-world scenarios where labelled data is available for a subset of classes (known classes) in the target domain, and we expect to recognize new samples belonging to any class (known and unseen classes) once the model is learned. This is a generalized zero-shot learning problem where the side information comes from the source domain in the form of labelled samples instead of class-level semantic representations commonly used in traditional zero-shot learning. We present a unified domain adaptation framework for both unsupervised and zero-shot learning conditions. Our approach learns a joint subspace from source and target domains so that the projections of both data in the subspace can be domain invariant and easily separable. We use the supervised locality preserving projection (SLPP) as the enabling technique and conduct experiments under both unsupervised and zero-shot learning conditions, achieving state-of-the-art results on three domain adaptation benchmark datasets: Office-Caltech, Office31 and Office-Home.

研究の動機と目的

• 訓練中にターゲットドメインのデータにアクセスできるという教師なしドメイン適応の制限を克服するため、ターゲットクラスの一部のみがラベル付けされた一般化されたゼロショット学習問題を定式化すること。
• ラベル付きソースデータと限定的なラベル付きターゲットデータを活用することで、教師なしドメイン適応とゼロショット学習を統合したフレームワークを構築すること。
• ソースとターゲットドメインを統合した部分空間を学習し、局所的なデータ構造を保持することで、一般化性能を向上させること。
• 訓練中にテストデータをターゲットドメインから入手しないで、既知のターゲットクラスで学習し、未観測クラスに一般化できる出先外分類を可能にすること。

提案手法

• 本手法は、教師あり局所保存射影（SLPP）を用いて、ソースおよびターゲットデータがドメイン不変かつ明確に分離される低次元部分空間を学習する。
• 教師なしドメイン適応の文脈では、信頼度を考慮した偽ラベル選択スキームを用い、反復的にターゲットサンプルに高信頼度の偽ラベルを割り当てることで、ドメイン整合性を向上させる。
• ラベル付きソースデータと偽ラベル付きターゲットデータを共有部分空間で統合的に最適化することで、ドメイン不変性とクラス分離性を同時に達成する。
• ゼロショット学習では、ターゲットクラスの一部に限定してラベル付きで学習し、共有部分空間の構造を活用することで、未観測クラスに一般化する。
• 本手法は深層特徴（例：ResNet50 からの特徴）を用い、Office-Caltech、Office31、Office-Home データセットで評価されている。
• LDA と比較する消去実験により、部分空間学習における局所的データ構造の保持の重要性が示された。

実験結果

リサーチクエスチョン

• RQ1 現実的なデータ制約下で、教師なしドメイン適応とゼロショット視覚認識を効果的に統合する統一フレームワークは可能か？
• RQ2 訓練中にターゲットドメインのテストサンプルを必要とせずに、どのようにドメイン整合性を達成できるか？
• RQ3 SLPP を用いて局所的データ構造を保持することで、従来の手法（例：LDA）と比較して、クロスドメイン分類における一般化性能が向上するか？
• RQ4 ラベル付きターゲットクラスの一部で学習したモデルは、ゼロショット設定において未観測クラスに効果的に一般化できるか？

主な発見

• 提案されたフレームワークは、Office-Caltech、Office31、Office-Home の3つの標準ドメイン適応ベンチマークで最先端の性能を達成した。
• ゼロショット学習設定下でのOffice-Homeでは、調和平均精度が70.6%に達し、ベースライン手法および最適化されたゼロショット学習アルゴリズムを上回った。
• 信頼度を考慮した偽ラベル付け戦略は、教師なし設定におけるドメイン整合性とモデル一般化性能の向上に顕著な効果を示した。
• SLPP の使用は、部分空間学習において LDA を常に上回り、局所的データ構造の保持の重要性を裏付けた。
• 最適化されたゼロショット学習手法（BiDiLEL および MR）は、未観測クラスでは性能が著しく低かったことから、この設定下でのクラスレベルの意味的表現の限界が浮き彫りになった。
• ターゲットクラスの一部のみがラベル付けされた状況でも、フレームワークは強固な性能を維持しており、一般化ゼロショット学習における有効性が裏付けられた。