[論文レビュー] Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation

Sajad Norouzi, David J. Fleet+1 more|arXiv (Cornell University)|Apr 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 9

ひとこと要約

Exemplar VAE は、潜在コードに Parzen ウィンドウ事前分布を用いた非パrametricな変分オートエンコーダーを導入し、ランダムな訓練例を変換することで生成を可能にした。密度推定および表現学習において最先端の結果を達成し、MNIST と Fashion MNIST のテスト誤差をそれぞれ 1.17% から 0.69%、8.56% から 8.16% に低減した。これは生成的データ拡張によるものである。

ABSTRACT

We introduce Exemplar VAEs, a family of generative models that bridge the gap between parametric and non-parametric, exemplar based generative models. Exemplar VAE is a variant of VAE with a non-parametric prior in the latent space based on a Parzen window estimator. To sample from it, one first draws a random exemplar from a training set, then stochastically transforms that exemplar into a latent code and a new observation. We propose retrieval augmented training (RAT) as a way to speed up Exemplar VAE training by using approximate nearest neighbor search in the latent space to define a lower bound on log marginal likelihood. To enhance generalization, model parameters are learned using exemplar leave-one-out and subsampling. Experiments demonstrate the effectiveness of Exemplar VAEs on density estimation and representation learning. Importantly, generative data augmentation using Exemplar VAEs on permutation invariant MNIST and Fashion MNIST reduces classification error from 1.17% to 0.69% and from 8.56% to 8.16%.

研究の動機と目的

• VAE と例示ベース学習を組み合わせることで、パrametric と非パrametric な生成的モデリングの橋渡しを図ること。
• 潜在空間に標準的なガウス事前分布の代わりに非パrametric な Parzen ウィンドウ事前分布を導入することで、表現学習と密度推定を向上させること。
• 検索補強学習（RAT）を用いて、大規模データセット上での例示ベースモデルのスケーラブルな訓練を可能にすること。
• 例示の除外とサブサンプリング正則化を用いて一般化性能を向上させること。
• 教師付き学習における生成的データ拡張としての Exemplar VAE の有効性を実証すること。

提案手法

• 訓練例の Parzen ウィンドウ推定に基づく非パrametric な事前分布を潜在空間に導入し、VAE の標準的なガウス事前分布を置き換える。
• Exemplar VAE からのサンプリングは、まずランダムな訓練例を抽出し、その後、学習されたデコーダーを用いてその例を潜在コードおよび新たな観測値へ確率的に変換することで行う。
• 検索補強学習（RAT）を提案。潜在空間における近似最近傍探索を用いて、対数周辺尤度の下界を計算し、学習を高速化する。
• 過学習を防ぎ、一般化性能を向上させるために、例示の除外とサブサンプリングを正則化手法として採用する。
• アモアタイズド変分推論を活用し、自己符号化器、潜在空間、距離尺度を同時に最適化する。尤度の下界を最大化することで実現する。
• 再構成損失と、異なる例示から多様で妥当なサンプルを生成することを促進する対照的項を組み合わせたハイブリッド目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 VAE の潜在空間に非パrametric な事前分布を導入することで、ガウス分布や VampPrior といったパrametric な事前分布と比較して、表現品質や密度推定が向上するか？
• RQ2 検索補強学習（RAT）は、性能を維持または向上させつつ、例示ベース VAE の学習を顕著に高速化できるか？
• RQ3 Exemplar VAE を用いた生成的データ拡張により、特に順列不変なデータセットにおいて、教師付き分類タスクの一般化性能が向上するか？
• RQ4 自己符号化器と事前分布を同時に最適化することで、事前に指定された距離尺度に依存せずに意味のある潜在空間と距離尺度を学習できるか？
• RQ5 ベンチマークデータセットにおけるテスト誤差と対数尤度の観点から、Exemplar VAE は標準的な VAE や他の最先端モデルと比較してどのように性能を発揮するか？

主な発見

• Exemplar VAE は、MNIST、Fashion MNIST、Omniglot、CelebA において、ガウス事前分布や VampPrior を用いた標準的な VAE よりも密度推定で優れた性能を発揮した。
• 順列不変な MNIST において、テスト誤差は 0.69% に低下し、ベースラインの 1.17% から 41.0% 減少した。これは、データ拡張による強力な一般化を示している。
• Fashion MNIST では、Exemplar VAE を用いたデータ拡張により、テスト誤差が 8.56% から 8.16% に低下し、相対改善率は 4.7% であった。
• 検索補強学習（RAT）により、近似最近傍探索を用いて対数尤度の下界を計算することで、大規模データセット上での効率的学習が可能になった。
• 例示の除外とサブサンプリング正則化は、特にデータが少ない状況下で過学習を顕著に低減し、一般化性能を向上させた。
• Exemplar VAE を用いた生成的データ拡張は、実データのみで学習する場合よりも分類器の性能を向上させた。これは、学習に合成データのみを用いても成立する。