[論文レビュー] Zero-Shot Learning with Generative Latent Prototype Model

Yanan Li, Donghui Wang|arXiv (Cornell University)|May 26, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 18

ひとこと要約

本論文は、ドメインシフトを低減するための確率的生成により、未知のクラスの仮想インスタンスを潜在的プロトタイプから合成する生成的潜在的プロトタイプモデル（GLaP）を提案する。共有された意味的空間にプロトタイプをモデル化し、合成データを生成することで、GLaPは最先端の精度を達成し、AwAでは83.45%、CUBでは52.79%の性能を示した。

ABSTRACT

Zero-shot learning, which studies the problem of object classification for categories for which we have no training examples, is gaining increasing attention from community. Most existing ZSL methods exploit deterministic transfer learning via an in-between semantic embedding space. In this paper, we try to attack this problem from a generative probabilistic modelling perspective. We assume for any category, the observed representation, e.g. images or texts, is developed from a unique prototype in a latent space, in which the semantic relationship among prototypes is encoded via linear reconstruction. Taking advantage of this assumption, virtual instances of unseen classes can be generated from the corresponding prototype, giving rise to a novel ZSL model which can alleviate the domain shift problem existing in the way of direct transfer learning. Extensive experiments on three benchmark datasets show our proposed model can achieve state-of-the-art results.

研究の動機と目的

• 既に学習済みのクラスと未知のクラスの間でデータ分布が不一致となることによるドメインシフト問題を解決すること。
• 推論時だけでなく、学習段階でも意味的表現を活用することで、ZSLにおける一般化性能を向上させること。
• 共有された潜在空間における生成的確率的フレームワークを用いて、カテゴリ間の意味的関係をモデル化すること。
• プロトタイプに基づく生成により、未知クラスの合成トレーニングインスタンスを生成し、分類器のロバスト性を向上させること。
• 視覚的および意味的特徴の補完的組み合わせが、ゼロショット状況下での認識性能を向上させることを示すこと。

提案手法

• 各カテゴリが潜在空間内に固有のプロトタイプで表され、観測された特徴（画像、テキスト）がこれらのプロトタイプから生成されることを仮定する。
• 潜在的プロトタイプを事前分布を持つ確率変数としてモデル化し、仮想インスタンスの確率的生成を可能にする。
• 潜在空間における線形再構成を用いて、プロトタイプ間の意味的関係をエンコードし、カテゴリの類似性を保持する。
• プロトタイプと意味的特徴を用いて、未知クラスの仮想トレーニングインスタンスを生成し、トレーニングセットを効果的に拡張する。
• 実際の既知クラスデータと生成された仮想未知インスタンスの組み合わせを用いて分類器を訓練し、ゼロショット一般化性能を向上させる。
• 既知クラスの平均ベクトルと生成されたインスタンスの両方を用いた統合学習戦略を採用し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 潜在的プロトタイプの生成的モデリングにより、ドメインシフトを緩和することでゼロショット学習性能が向上するか？
• RQ2 プロトタイプベースの仮想インスタンス生成は、未知カテゴリ間での分類器一般化性能をどの程度向上させるか？
• RQ3 複数モodal（例：視覚的およびテキスト特徴）を組み合わせることで、ゼロショット学習における認識精度が向上するか？
• RQ4 意味的表現の質が、生成的ZSLモデルの性能にどの程度影響を与えるか？
• RQ5 多数の実データを必要とせず、少量の生成された仮想インスタンスでも、ゼロショット精度を顕著に向上させられるか？

主な発見

• GLaPは3つのベンチマークデータセットで最先端の性能を達成し、視覚的および意味的特徴を併用した場合、AwAで83.45%の正確性を示した。
• モデルは、視覚的特徴を一切使用しない場合でも、テキスト表現のみを用いて81.29%の正確性を達成し、ベースライン性能を7%以上上回った。
• 生成された仮想インスタンスのみを用いた場合（GLaP #1）でも強力な結果が得られ、AwAで81.29%の正確性を達成し、ベースラインを上回った。
• 視覚的および意味的特徴を併用した場合（A+W）が最高の性能を示し、CUBでは単一モダリティ使用時と比較して25%の向上を達成した。
• 既知クラスの平均ベクトルと生成インスタンスを併用した統合学習戦略（GLaP #3）は、完全なデータ訓練の性能と同等またはそれを上回った。
• 生成インスタンスの数が少ない場合でも性能が高く維持されたため、提案手法の高いデータ効率性が示された。