[論文レビュー] Rethinking Zero-Shot Learning: A Conditional Visual Classification Perspective

Kai Li, Martin Renqiang Min+1 more|arXiv (Cornell University)|Sep 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 9

ひとこと要約

この論文は、ゼロショット学習（ZSL）を、視覚的特徴から直接セマンティック属性に基づいて分類器を生成する条件付き視覚分類問題として再考している。視覚特徴の識別的特徴を保持し、クラス間の競合を活用することで、従来のZSL、一般化ZSL、伝達的ZSLのすべての設定で最先端の性能を達成しており、ベンチマークデータセットにおいて従来手法を顕著に上回っている。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize instances of unseen classes solely based on the semantic descriptions of the classes. Existing algorithms usually formulate it as a semantic-visual correspondence problem, by learning mappings from one feature space to the other. Despite being reasonable, previous approaches essentially discard the highly precious discriminative power of visual features in an implicit way, and thus produce undesirable results. We instead reformulate ZSL as a conditioned visual classification problem, i.e., classifying visual features based on the classifiers learned from the semantic descriptions. With this reformulation, we develop algorithms targeting various ZSL settings: For the conventional setting, we propose to train a deep neural network that directly generates visual feature classifiers from the semantic attributes with an episode-based training scheme; For the generalized setting, we concatenate the learned highly discriminative classifiers for seen classes and the generated classifiers for unseen classes to classify visual features of all classes; For the transductive setting, we exploit unlabeled data to effectively calibrate the classifier generator using a novel learning-without-forgetting self-training mechanism and guide the process by a robust generalized cross-entropy loss. Extensive experiments show that our proposed algorithms significantly outperform state-of-the-art methods by large margins on most benchmark datasets in all the ZSL settings. Our code is available at \url{https://github.com/kailigo/cvcZSL}

研究の動機と目的

• 視覚的特徴の識別的特徴を暗黙的に失う既存のZSL手法の制限に対処するため、それらを共通の埋め込み空間に再投影することを避けること。
• ZSLを、分類器がセマンティック属性から生成される条件付き視覚分類タスクとして再定式化し、視覚的特徴の識別性を保持すること。
• クラス間の競合と頑健な自己学習メカニズムを活用することで、従来のZSL、一般化ZSL、伝達的ZSLの設定における性能を向上させること。
• 一般化ZSLにおける性能低下を軽減するため、学習済みクラスの強力な識別性を維持しながら、未学習クラスへの一般化を強化すること。

提案手法

• エピソードベースのメタラーニング訓練方式を用いて、セマンティック属性から視覚的特徴分類器を直接生成する深層ニューラルネットワークを提案する。
• 視覚的特徴とセマンティック特徴の相関においてドメインバイアスの影響を低減するため、コサイン類似度に基づくクロスエントロピー損失を採用する。
• 一般化ZSL設定では、学習済みクラスと未学習クラスの生成分類器を連結して、同時にすべてのクラスを分類し、強い学習済みクラスの識別性を保持する。
• 伝達的設定では、未学習クラスのラベルなし画像を用いて、偽ラベル付けと「忘れずに学ぶ」戦略を用いて分類器生成器をキャリブレーションする。
• 自己学習中にノイズや誤った偽ラベルの影響を最小限に抑えるために、頑健な一般化クロスエントロピー損失を適用する。
• 合成された「偽」ZSLタスクを用いたメタラーニングパラダイムを採用し、実世界の未学習クラス認識への一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴の内蔵された識別的特徴を共有空間への投影ではなく、保持することでゼロショット学習を改善できるか？
• RQ2 視覚的・セマンティック的整合性に依存せずに、学習済みクラス間のクラス間競合と識別的情報をZSLでどのように活用できるか？
• RQ3 学習済みクラスで強い性能を維持しながら、未学習クラスに効果的に一般化できる分類器生成器は、一般化ZSL設定で学習済みクラスに適応できるか？
• RQ4 未学習クラスからのラベルなしデータを、過学習や誤りの蓄積を防ぎつつ、効果的に分類器生成器の精錬に活用できるか？

主な発見

• 提案手法は、すべてのZSL設定において、ほとんどのベンチマークデータセットで最先端の性能を達成しており、既存手法を顕著に上回っている。
• 一般化ZSL設定では、わずかな初期ピークと緩やかな低下率のおかげで、学習済みクラス（GZSL-Seen）の性能を高い水準で維持している。
• 学習済みクラスと未学習クラスの精度の調和平均（GZSL-H）は、学習中に着実に上昇し、高い水準で安定化しており、バランスの取れた頑健な性能を示している。
• 可視化結果から、モデルはセマンティック記述に基づいて未学習クラスの識別的視覚的特性を合理的に捉えていることが示されており、誤分類は主に極めて曖昧なケースに限られている。
• 未学習クラス（GZSL-Unseen）におけるモデルの性能は、学習中に着実に上昇し、安定しているため、新しいクラスへの効果的な一般化が可能であることが示されている。