[論文レビュー] Zero-shot Learning via Simultaneous Generating and Learning

Hyeonwoo Yu, Beom-Hee Lee|arXiv (Cornell University)|Oct 21, 2019

Domain Adaptation and Few-Shot Learning被引用数 30

ひとこと要約

本稿では、クラス固有のマルチモーダル事前分布を備えた変分オートエンコーダを用いて、ゼロショット学習のための同時生成と学習（SGAL）戦略を提案する。未学習クラスのデータを、EMに類似した反復的プロセスによりモデルパラメータと同時に最適化すべき欠損変数として扱うことで、学習済みクラスと未学習クラスの両方の結合分布を学習し、オフザシェル分類器を必要とせず、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

To overcome the absence of training data for unseen classes, conventional zero-shot learning approaches mainly train their model on seen datapoints and leverage the semantic descriptions for both seen and unseen classes. Beyond exploiting relations between classes of seen and unseen, we present a deep generative model to provide the model with experience about both seen and unseen classes. Based on the variational auto-encoder with class-specific multi-modal prior, the proposed method learns the conditional distribution of seen and unseen classes. In order to circumvent the need for samples of unseen classes, we treat the non-existing data as missing examples. That is, our network aims to find optimal unseen datapoints and model parameters, by iteratively following the generating and learning strategy. Since we obtain the conditional generative model for both seen and unseen classes, classification as well as generation can be performed directly without any off-the-shell classifiers. In experimental results, we demonstrate that the proposed generating and learning strategy makes the model achieve the outperforming results compared to that trained only on the seen classes, and also to the several state-of-the-art methods.

研究の動機と目的

• 未学習クラスに訓練データが存在しないというゼロショット学習の根本的課題に対処する。
• 従来のZSL手法が学習済みデータでのみ訓練され、意味的埋め込みを介した間接的一般化に依存するという制限を克服する。
• 学習済みクラスと未学習クラスの両方を訓練中に経験する統合型生成モデルを開発し、一般化性能を向上させる。
• VAEのエンコーダを直接分類器として使用することで、外部分類器の必要性を排除する。
• 生成フェーズにおけるドロップアウト正則化を用いて、未学習データの生成におけるモデルの不確実性を軽減する。

提案手法

• 未学習クラスのデータを、モデルパラメータと同時に最適化すべき欠損変数として定式化し、EMアルゴリズムに類似した反復的プロセスを模倣する。
• 学習済みクラスと未学習クラスの両方の複雑なマルチモーダルなデータ分布をモデル化するため、カテゴリ固有のマルチモーダル事前分布を備えた変分オートエンコーダ（VAE）を用いる。
• 現在のモデルパラメータを用いて合成された未学習クラスのサンプルを反復的に生成し、これらの生成サンプルと実際の学習済みデータでモデルを再訓練する。
• 生成フェーズにおいてドロップアウトを適用することで、モデルの不確実性を低減し、生成サンプルのロバスト性を向上させる。
• エンコーダをエンドツーエンド分類器として訓練し、別個の分類器ヘッドの必要性を排除する。
• VAEの条件付き入力としてクラス埋め込みベクトルを活用し、訓練中に未学習クラスのサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 実際の未学習クラスのサンプルが存在しない状況下で、生成モデルが学習済みクラスと未学習クラスの両方の真のデータ分布を学習可能か？
• RQ2 ゼロショット学習において、モデルを訓練するためのデータと、データを生成するためのモデルの両方が必要となる「鶏と卵」のジレンマは、どのように解決できるか？
• RQ3 モデルパラメータと合成された未学習クラスのサンプルを同時に最適化することで、学習済みクラスのみで訓練する場合よりも優れた一般化性能が得られるか？
• RQ4 生成フェーズにおけるドロップアウトは、モデルのロバスト性と未学習クラスに対する性能向上に寄与するか？
• RQ5 外部分類器を必要とせず、VAEのエンコーダを直接分類に使用できるか？

主な発見

• 提案手法SGALは、AwA1でハーモニック平均精度62.2%を達成し、ベースラインのmmVAEの52.2%から顕著な向上を示しており、未学習クラスでの性能向上が明確に確認された。
• AwA2では、ハーモニック平均がmmVAEの26.9%からSGALの65.6%に上昇し、高いクラス多様性にもかかわらず、未学習クラスへの一般化性能が顕著に向上した。
• SGAL-ドロップアウトのバリエーションは、生成フェーズにおけるモデルの不確実性を低減することで、SGAL単体よりも未学習クラスでの性能が向上し、より高いロバスト性を示した。
• CUBおよびSUNデータセットでもSOTAを達成し、AwAに比べて5倍および12倍のクラス数を持つにもかかわらず、強力なスケーラビリティを示した。
• 未学習クラスでの性能向上にもかかわらず、学習済みクラスの性能はわずかに低下しており、これはモデルが学習済みと未学習の両分布に一般化するために努力していることの証左である。
• T-SNEによる可視化では、SGAL訓練後、未学習クラスのクラスタが潜在空間でより明確に分離され、定義が明確になったことが確認され、分離性と一般化性能の向上が裏付けられた。