[論文レビュー] Learning Classifiers for Target Domain with Limited or No Labels

Pengkai Zhu, Hanxiao Wang+1 more|arXiv (Cornell University)|Jan 25, 2019

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、画像を代表的な部品タイプ特徴の低次元確率ベクトルとして表現する、画期的な視覚的属性符号化手法を提案する。この手法により、限られたラベルまたはラベルなしの状況下でも、事前学習済みモデルを新しいドメインに効果的に適応可能にする。エンコーダーを固定し、FSL（少数ラベル学習）またはZSL（ゼロショット学習）における新しいセマンティック属性のみで分類器のみを微調整することで、ゼロショット、少数ラベル、ドメイン適応のベンチマークにおいて、最先端の性能を達成する。

ABSTRACT

In computer vision applications, such as domain adaptation (DA), few shot learning (FSL) and zero-shot learning (ZSL), we encounter new objects and environments, for which insufficient examples exist to allow for training models from scratch, and methods that adapt existing models, trained on the presented training environment, to the new scenario are required. We propose a novel visual attribute encoding method that encodes each image as a low-dimensional probability vector composed of prototypical part-type probabilities. The prototypes are learnt to be representative of all training data. At test-time we utilize this encoding as an input to a classifier. At test-time we freeze the encoder and only learn/adapt the classifier component to limited annotated labels in FSL; new semantic attributes in ZSL. We conduct extensive experiments on benchmark datasets. Our method outperforms state-of-art methods trained for the specific contexts (ZSL, FSL, DA).

研究の動機と目的

• 限られたラベルデータでの学習が困難な新しい視覚的ドメインにおけるモデル学習の課題に対処すること。
• 再訓練を必要とせず、事前学習済みモデルをターゲットドメインに効果的に適応できること。
• ゼロショット学習（ZSL）、少数ラベル学習（FSL）、ドメイン適応（DA）の状況における性能向上を図ること。
• 代表的な部品タイプ特徴を活用した、堅牢な分類器適応のための統合フレームワークを開発すること。

提案手法

• 画像は、学習データから学習された代表的な部品タイプ特徴に基づき、低次元の確率ベクトルとして符号化される。
• プロトタイプは、すべての学習データを代表するように学習され、一般化のための共有特徴空間を形成する。
• テスト時、エンコーダーは固定され、FSLでは限られたラベル付き例、ZSLでは新しいセマンティック属性のみを用いて分類器ヘッドのみを微調整する。
• 部分タイプの構成を確率的符号化スキームでモデル化することで、未観測クラスやドメインへの一般化が向上する。
• エンコーダーの一般化能力を保持したまま、符号化特徴上でエンドツーエンドの微調整により分類器を適応させる。
• 本手法は、ZSL、FSL、DAの設定下で複数のベンチマークデータセットを対象に評価される。

実験結果

リサーチクエスチョン

• RQ1 統合的な視覚的属性符号化手法は、ゼロショット、少数ラベル、ドメイン適応の各シナリオにおいて性能向上をもたらすか？
• RQ2 限られたラベルデータしか利用できない状況下で、固定エンコーダーと微調整された分類器の組み合わせはどの程度有効か？
• RQ3 代表的な部品タイプ特徴は、データが少ない状況下での下流分類に向け、堅牢で一般化可能な表現として機能するか？
• RQ4 提案手法の符号化方式は、ZSLおよびFSLベンチマークにおいて、既存手法を上回る性能を発揮するか？

主な発見

• 提案手法は、ゼロショット学習、少数ラベル学習、ドメイン適応のベンチマークデータセットにおいて、最先端の性能を達成した。
• 本手法は、3つの設定すべてにおいて既存手法を上回り、多様な低データシナリオにおける強力な一般化能力を示した。
• 固定エンコーダーと微調整された分類器の組み合わせは、特に低ショットおよびゼロショットの状況で一貫した向上をもたらした。
• 代表的な部品タイプ符号化により、判別力があり分離可能な視覚的属性を捉えることで、未観測クラスやドメインへの効果的な転送が可能になった。
• 複数のデータセットにわたる堅牢性から、特定のタスク設定にとどまらず、広範な適用可能性が示された。
• アブレーションスタディにより、本手法の符号化方式が、低データシナリオにおいて代替の特徴表現よりも優れていることが確認された。