[論文レビュー] Leveraging the Invariant Side of Generative Zero-Shot Learning

Jingjing Li, Mengmeng Jin+4 more|arXiv (Cornell University)|Apr 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 103

ひとこと要約

LisGAN は、意味記述と不変のソウルサンプルに導かれた条件付き Wasserstein GAN を用いて見えない視覚特徴を直接生成し、その後、ゼロショット認識のためのカスケード型分類器を用いて、複数のベンチマークで最先端の結果を達成します。

ABSTRACT

Conventional zero-shot learning (ZSL) methods generally learn an embedding, e.g., visual-semantic mapping, to handle the unseen visual samples via an indirect manner. In this paper, we take the advantage of generative adversarial networks (GANs) and propose a novel method, named leveraging invariant side GAN (LisGAN), which can directly generate the unseen features from random noises which are conditioned by the semantic descriptions. Specifically, we train a conditional Wasserstein GANs in which the generator synthesizes fake unseen features from noises and the discriminator distinguishes the fake from real via a minimax game. Considering that one semantic description can correspond to various synthesized visual samples, and the semantic description, figuratively, is the soul of the generated features, we introduce soul samples as the invariant side of generative zero-shot learning in this paper. A soul sample is the meta-representation of one class. It visualizes the most semantically-meaningful aspects of each sample in the same category. We regularize that each generated sample (the varying side of generative ZSL) should be close to at least one soul sample (the invariant side) which has the same class label with it. At the zero-shot recognition stage, we propose to use two classifiers, which are deployed in a cascade way, to achieve a coarse-to-fine result. Experiments on five popular benchmarks verify that our proposed approach can outperform state-of-the-art methods with significant improvements.

研究の動機と目的

• 意味記述を用いて実際の未確認サンプルなしに、見えないクラスを認識するゼロショット学習を動機づける。
• 生成された未確認特徴の多様性と信頼性の両方を保証する生成フレームワークを開発する。
• 生成特徴を正則化するための不変表現としてソウルサンプルを導入する。
• クラスごとに複数のソウルサンプルを用いて多視点ドメインシフトに対処する。
• 生成特徴上で粗から細へのカスケード分類器により認識を強化する。

提案手法

• 意味記述に条件づけられたランダムノイズから見えない特徴を合成するために、条件付き Wasserstein GAN を訓練する。
• 不変のクラス表現としてソウルサンプルを導入し、クラスごとに複数のソウルサンプルを用いて多視点の特徴を捉える。
• 生成サンプルとソウルサンプルが実際のクラス表現と一致するよう2つの正則化項（L_R1 および L_R2）を定義する。
• Wasserstein ロスと、実特徴と生成特徴の両方に対する教師あり分類損失を組み合わせた2枝の GAN 目的関数を用いる。
• ゼロショット認識を、生成された特徴に対する教師あり学習へ変換し、予測を精緻化するためにエントロピーベースの信頼度を用いるカスケード分類器を用いる。
• リプシッツ制約（β を 10 に固定）で最適化し、多様性と整合のバランスを取るために λ と正則化重みを調整する。

実験結果

リサーチクエスチョン

• RQ1 条件付き GAN は、意味記述と整合する多様で識別力のある未確認特徴を生成できるか。
• RQ2 ソウルサンプルは生成を適切に正則化して無魂の特徴を防ぎ、マルチビューのドメインシフトを緩和できるか。
• RQ3 高信頼度の未確認サンプルを活用するカスケード分類器は、一般化ゼロショット性能を改善するか。
• RQ4 LisGAN のハイパーパラメータ感度と訓練時の安定性はどうか。

主な発見

• LisGAN は五つのゼロショット学習評価のうち四つで最良の結果を達成し、残りのデータセットでは最先端の結果を示す。
• aPaY では、LisGAN は前回の最先端を 2.6% 上回る。
• AwA、CUB、および FLO で、LisGAN はゼロショット精度をそれぞれ 2.4%、1.5%、2.4% 向上させる。
• 一般化ゼロショット学習では、 LisGAN はデータセット全体で調和平均の改善が最大 2.8%、平均では約 2.2% の改善を示す。
• アブレーション研究は、ソウルサンプル正則化、クラスあたりの複数のソウルサンプル、カスケード分類器が共同で性能向上に寄与することを示す。