[論文レビュー] Generalized Zero-Shot Learning via VAE-Conditioned Generative Flow

Yuchao Gu, Le Zhang+3 more|arXiv (Cornell University)|Sep 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

本稿では、変分オートエンコーダー（VAE）とノーマライジングフローを組み合わせることで、未学習クラスの高品質な視覚的特徴を生成する、一般化ゼロショット学習（GZSL）のための新しい条件付き生成モデルVAE-cFlowを提案する。意味的記述を意味的で判別性の高い潜在空間に符号化し、可逆的フローを用いて正確な対数尤度を最適化することで、特にImageNet21Kなどの大規模データセットにおいて最先端の性能を達成し、M500およびM1Kスプリットでそれぞれ3.9%および3.1%の向上を達成した。

ABSTRACT

Generalized zero-shot learning (GZSL) aims to recognize both seen and unseen classes by transferring knowledge from semantic descriptions to visual representations. Recent generative methods formulate GZSL as a missing data problem, which mainly adopts GANs or VAEs to generate visual features for unseen classes. However, GANs often suffer from instability, and VAEs can only optimize the lower bound on the log-likelihood of observed data. To overcome the above limitations, we resort to generative flows, a family of generative models with the advantage of accurate likelihood estimation. More specifically, we propose a conditional version of generative flows for GZSL, i.e., VAE-Conditioned Generative Flow (VAE-cFlow). By using VAE, the semantic descriptions are firstly encoded into tractable latent distributions, conditioned on that the generative flow optimizes the exact log-likelihood of the observed visual features. We ensure the conditional latent distribution to be both semantic meaningful and inter-class discriminative by i) adopting the VAE reconstruction objective, ii) releasing the zero-mean constraint in VAE posterior regularization, and iii) adding a classification regularization on the latent variables. Our method achieves state-of-the-art GZSL results on five well-known benchmark datasets, especially for the significant improvement in the large-scale setting. Code is released at https://github.com/guyuchao/VAE-cFlow-ZSL.

研究の動機と目的

• GANとVAEが一般化ゼロショット学習（GZSL）において抱える課題、特に学習の不安定性と最適でない尤度推定の制限を解消すること。
• 未学習クラスのための現実的で多様な視覚的特徴を生成しつつ、意味的意味を保持する条件付き生成モデルを開発すること。
• 意味的記述に基づく視覚的特徴の正確な条件付き確率分布をモデル化することで、GZSLの性能を向上させること。
• 再構成と分類の目的関数を共同最適化することで、潜在空間が意味的に意味的でクラス間で判別可能であることを保証すること。
• 合成特徴のクラス内変動が実際の学習済みクラス特徴と一致することが、最良のGZSL性能を達成する上で重要であることを示すこと。

提案手法

• 本手法は、標準的なゼロ平均事前分布の代わりに分類正則化付き事後分布を用いることで、意味的で意味のある潜在分布に意味的記述を符号化するVAEを用いる。
• 条件付きノーマライジングフロー（cFlow）を訓練し、VAEで符号化された潜在コードに基づく視覚的特徴の正確な対数尤度をモデル化することで、精密な密度推定を可能にする。
• VAEの損失関数により、潜在コードが元の意味的埋め込みを再構成できるようにし、意味的意味の維持を強制する。
• 事後正則化を変更し、ゼロ平均制約の代わりに潜在変数における分類損失を導入することで、クラス間の判別性を向上させる。
• 潜在空間におけるサンプリング温度がクラス内変動を制御でき、合成特徴の変動が実際の学習済みクラス特徴と一致する際に最良の性能が達成される。
• 本モデルは、学習済み特徴の12倍の規模で合成未学習特徴を生成し、最良の性能を得るために温度を1.1にチューニングする。

実験結果

リサーチクエスチョン

• RQ1 条件付きノーマライジングフローをVAEと効果的に組み合わせることで、GZSLにおける未学習クラスのための高品質な視覚的特徴を生成できるか？
• RQ2 潜在空間の事前分布および正則化の選択が、条件付き潜在分布の意味的意味と判別性に与える影響は何か？
• RQ3 合成特徴のクラス内変動がGZSL性能に与える影響は何か？ また、どのように制御できるか？
• RQ4 ノーマライジングフローを用いて正確な対数尤度を最適化することで、VAE（下界最適化）やGAN（モード崩壊の問題を抱える）を上回る性能が得られるか？
• RQ5 本手法は、特にImageNet21Kのような大規模設定において、異なるデータセットサイズにどのようにスケーリングするか？

主な発見

• VAE-cFlowは、ImageNet21KのM500スプリットで3.9%、M1Kスプリットで3.1%の向上を達成し、5つのベンチマークデータセットで最先端の性能を達成した。
• 標準的なVAE事後正則化の代わりに分類正則化を採用することで、CUBデータセットにおいてGZSLで5.2%、ZSLで3.6%の性能向上を達成した。
• 合成特徴生成の最適なサンプリング温度は1.1であり、実際の学習済みクラス特徴のクラス内変動と一致し、GZSL精度を最大化する。
• 合成未学習特徴の数が増加するにつれて性能が滑らかに向上し、学習済み特徴の12倍の数でピークに達する。
• t-SNE可視化により、VAE-cFlowが生成する合成特徴が、従来手法のものよりも実データとより一貫していることが確認された。
• 本手法は大規模GZSLにおいて優れた性能を示したが、VAEベースの潜在モデリングの性質上、小規模ZSL設定では限界を示した。