[論文レビュー] Towards Effective Deep Embedding for Zero-Shot Learning

Lei Zhang, Peng Wang+5 more|arXiv (Cornell University)|Aug 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 6

ひとこと要約

本論文は、ゼロショット学習のための二本のブランチからなる深層ネットワークを提案し、クラス内Compactnessとクラス間分離性を明示的に学習する共同埋め込み空間を構築する。視覚的埋め込みをそのクラスの意味的対応物に回帰させ、学習可能な分類器を用いてクラス間の区別を強制することで、5つの標準的なZSLベンチマークで最先端の性能を達成する。さらに、教師なしの疑似ラベル化戦略を用いることで、学習済みクラスへのモデルバイアスを低減し、性能を向上させる。

ABSTRACT

Zero-shot learning (ZSL) can be formulated as a cross-domain matching problem: after being projected into a joint embedding space, a visual sample will match against all candidate class-level semantic descriptions and be assigned to the nearest class. In this process, the embedding space underpins the success of such matching and is crucial for ZSL. In this paper, we conduct an in-depth study on the construction of embedding space for ZSL and posit that an ideal embedding space should satisfy two criteria: intra-class compactness and inter-class separability. While the former encourages the embeddings of visual samples of one class to distribute tightly close to the semantic description embedding of this class, the latter requires embeddings from different classes to be well separated from each other. Towards this goal, we present a simple but effective two-branch network to simultaneously map semantic descriptions and visual samples into a joint space, on which visual embeddings are forced to regress to their class-level semantic embeddings and the embeddings crossing classes are required to be distinguishable by a trainable classifier. Furthermore, we extend our method to a transductive setting to better handle the model bias problem in ZSL (i.e., samples from unseen classes tend to be categorized into seen classes) with minimal extra supervision. Specifically, we propose a pseudo labeling strategy to progressively incorporate the testing samples into the training process and thus balance the model between seen and unseen classes. Experimental results on five standard ZSL datasets show the superior performance of the proposed method and its transductive extension.

研究の動機と目的

• 未学習クラスのサンプルが頻繁に学習済みクラスに誤分類されるというゼロショット学習におけるモデルバイアス問題に対処すること。
• クラス内Compactnessとクラス間分離性を明示的に設計した埋め込み空間を構築することで、ゼロショット学習における一般化性能を向上させること。
• テスト時情報を利用した疑似ラベル化を通じて、学習済みクラスと未学習クラスの性能差を低減する、変換的拡張を提案すること。
• 明示的にコンパクト性と分離性の両基準を満たす共同埋め込み空間を学習することで、暗黙の適合関数や固定された意味的／視覚的空間に依存する手法よりも優れたゼロショット認識が達成されることを示すこと。

提案手法

• 視覚的サンプルとクラスレベルの意味的記述を、共有された潜在埋め込み空間にマップする二本のブランチからなる深層ニューラルネットワークを設計する。
• 視覚的埋め込みをその対応するクラス意味的埋め込みに回帰させることで、クラス内Compactnessを強制する。回帰損失を用いる。
• 埋め込み特徴上で分類器を学習させ、異なるクラスを区別するようにすることで、クラス間分離性を強制する。交差エントロピー損失を用いる。
• 分類器ヘッドを学習可能に設計し、クラス間で判別可能な特徴を確保する。
• テスト時情報を利用した疑似ラベル化戦略を用いて、変換的設定に拡張する。未学習クラスの高信頼度のテストサンプルを繰り返し選別し、学習プロセスに統合する。
• ラウンドごとにモデルをキャリブレーションし、段階的に疑似ラベル化された未学習サンプルを追加することで、埋め込み空間を精緻化し、学習済みクラスと未学習クラスの性能をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間におけるクラス内Compactnessとクラス間分離性の明示的最適化が、従来手法よりも優れたゼロショット一般化を達成できるか？
• RQ2 意味的空間や視覚的空間を固定し、片方向マッピングに依存する先行手法と比較して、本手法はどのように異なるか？
• RQ3 変換的疑似ラベル化戦略が、ゼロショット学習における学習済みクラスへのモデルバイアスをどの程度低減できるか？
• RQ4 未学習クラスの真のラベルが入手不可である状況でも、疑似ラベル化されたテストサンプルによる埋め込み空間の反復的精緻化が、認識精度の向上に寄与するか？

主な発見

• 提案手法は、5つの標準的なゼロショット学習データセットで最先端の性能を達成し、従来手法を上回っている。従来のZSL設定および一般化ZSL設定の両方で優れた結果を示した。
• 変換的拡張（Ours_ex）は、未学習クラスの認識精度を顕著に向上させ、モデルキャリブレーションの各ラウンドで性能が向上した。
• 疑似ラベル化戦略は、最初のラウンドで選択された未学習クラスサンプルに対して70％以上の予測精度を達成し、以降のラウンドでわずかに向上した。
• ハイパーパrameter λ の広い範囲で安定した性能を示したが、λ = 0 の場合に性能が崩壊した。これは、クラス間分離性正則化の必要性を裏付けた。
• 変換的キャリブレーション中でも、学習済みクラスの認識精度は安定しており、テスト時データを統合しても性能が劣化していないことが示された。
• AwA1における可視化結果から、本手法の埋め込み空間は、未学習クラスのサンプルをよりよく分離し、それらを意味的プロトタイプに密接に一致させていることがわかった。