[論文レビュー] Exemplar VAEs for Exemplar based Generation and Data Augmentation

Sajad Norouzi, David J. Fleet+1 more|arXiv (Cornell University)|Jan 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 3

ひとこと要約

Exemplar VAEs は、訓練例に対する Parzen ウィンドウ推定器を用いて潜在空間に非パラメトリックな事前分布を導入し、パラメトリック VAE と例示ベース生成を組み合わせた生成モデリングを可能にする。近似的な最近傍検索を用いて類似した潜在コードを取得し、leave-one-out 訓練を適用することで、データ拡張が向上し、MNIST と Fashion-MNIST の分類誤差はそれぞれ 41% および 4.9% 減少する。

ABSTRACT

We introduce Exemplar VAEs, a family of generative models that bridge the gap between parametric and non-parametric, exemplar based generative models. Exemplar VAE is a variant of VAE with a non-parametric prior in the latent space based on a Parzen window estimator. To sample from it, one first draws a random exemplar from a training set, then stochastically transforms that exemplar into a latent code and a new observation. We propose retrieval augmented training (RAT) as a way to speed up Exemplar VAE training by using approximate nearest neighbor search in the latent space to define a lower bound on log marginal likelihood. To enhance generalization, model parameters are learned using exemplar leave-one-out and subsampling. Experiments demonstrate the effectiveness of Exemplar VAEs on density estimation and representation learning. Importantly, generative data augmentation using Exemplar VAEs on permutation invariant MNIST and Fashion MNIST reduces classification error from 1.17% to 0.69% and from 8.56% to 8.16%.

研究の動機と目的

• パラメトリックな生成モデルと非パラメトリックな生成モデルの間のギャップを埋めるために、訓練例に基づく非パラメトリックな事前分布を潜在空間に導入すること。
• 実際の訓練例をサンプリングの基盤として活用することで、生成モデリングとデータ拡張を向上させること。
• 近似的な最近傍検索を用いたリtrieval-augmented training (RAT) を通じて、例示ベースのモデルの訓練を高速化すること。
• 訓練中に例示のleave-one-outおよびサブサンプリングを適用することで、モデルの一般化性能を向上させること。
• 生成的データ拡張を通じて、密度推定、表現学習、分類の分野で向上した性能を実証すること。

提案手法

• モデルは、訓練例に対する Parzen ウィンドウ推定器に基づく潜在空間における非パラメトリックな事前分布を用いる。
• サンプリングは、訓練セットからランダムに選択された例示を、確率的変換によって潜在コードおよび新たな観測値に変換することを含む。
• リtrieval-augmented training (RAT) は、潜在空間における近似的な最近傍検索を用いて、対数周辺尤度の下界を計算し、訓練を高速化する。
• モデルのパラメータは、一般化を向上させるために、例示のleave-one-outおよびサブサンプリングを用いて最適化される。
• 潜在空間は、各訓練例がカーネルスムージングを通じて事前密度に寄与するように構築される。
• 生成プロセスは、例示の確率的変換と潜在空間におけるリトリーブを組み合わせ、多様で現実的なサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 訓練例に基づく非パラメトリックな事前分布を有する VAE は、標準的な VAE よりも優れた生成品質と一般化性能を達成できるか？
• RQ2 潜在空間における近似的な最近傍検索を用いることで、例示ベース生成をどのようにスケーラブルかつ効率的に実現できるか？
• RQ3 例示ベースのデータ拡張は、視覚ベンチマークにおける下流分類性能をどの程度向上させるか？
• RQ4 leave-one-out およびサブサンプリングによる訓練は、例示ベースのモデルにおける一般化性能を向上させるか？
• RQ5 提案されたモデルは、密度推定および表現学習においてパラメトリック VAE よりも優れた性能を示せるか？

主な発見

• Exemplar VAE は、ベンチマークデータセットにおいて密度推定および表現学習の分野で最先端の性能を達成している。
• Exemplar VAE を用いた生成的データ拡張により、順列不変な MNIST における分類誤差は 1.17% から 0.69% に低下した。
• Fashion-MNIST では、同じ拡張戦略により分類誤差が 8.56% から 8.16% に低下した。
• リtrieval-augmented training (RAT) 法は、対数周辺尤度のタイトな下界を提供することで、訓練を顕著に高速化した。
• leave-one-out およびサブサンプリング戦略は、個々の例示に過剰適合するのを防ぎ、モデルの一般化性能を向上させた。
• 本モデルは、例示ベース生成のインダクティブバイアスとパラメトリック VAE の柔軟性を効果的に統合し、高品質で多様なサンプル生成を可能にした。