[論文レビュー] Generated Loss and Augmented Training of MNIST VAE

Jason Chou|arXiv (Cornell University)|Apr 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 5

ひとこと要約

この論文は、生成されたサンプルにおけるVAE損失（以下「生成損失」と呼ぶ）を生成品質の代理指標として用いること、および繰り返し符号化/復号化によるデータ拡張を用いてMNIST VAEを改善することを検討する。畳み込みモデルでは生成損失が実際の生成品質をうまく反映しない一方で、平均潜在変数からの繰り返し推論は一貫してより典型的で教科書的な数字の再構成を生成する。これはVAEに内在するクラスタリング特性を示唆するが、拡張された学習では性能向上が得られなかった。

ABSTRACT

The variational autoencoder (VAE) framework is a popular option for training unsupervised generative models, featuring ease of training and latent representation of data. The objective function of VAE does not guarantee to achieve the latter, however, and failure to do so leads to a frequent failure mode called posterior collapse. Even in successful cases, VAEs often result in low-precision reconstructions and generated samples. The introduction of the KL-divergence weight $β$ can help steer the model clear of posterior collapse, but its tuning is often a trial-and-error process with no guiding metrics. Here we test the idea of using the total VAE loss of generated samples (generated loss) as the proxy metric for generation quality, the related hypothesis that VAE reconstruction from the mean latent vector tends to be a more typical example of its class than the original, and the idea of exploiting this property by augmenting training data with generated variants (augmented training). The results are mixed, but repeated encoding and decoding indeed result in qualitatively and quantitatively more typical examples from both convolutional and fully-connected MNIST VAEs, suggesting that it may be an inherent property of the VAE framework.

研究の動機と目的

• 生成されたサンプルにおけるVAE損失の合計（生成損失）が、生成品質の信頼できる代理指標として機能するかどうかを評価すること。
• 平均潜在変数からの繰り返し符号化・復号化が、各数字クラスのより典型的で代表的な例を生成するという仮説を検証すること。
• VAEの学習データに生成されたサンプルを追加することで、生成品質が向上するかどうかを調査すること。
• 異なるVAEアーキテクチャーやハイパーパrameterに対して、生成損失とFIDなどの標準指標の挙動を比較すること。

提案手法

• 生成されたサンプルにおけるVAE損失（ELBO）を「生成損失」として測定し、生成中のモデル性能を評価する。
• 平均潜在変数からの繰り返し符号化・復号化を適用し、より典型的な数字再構成を段階的に生成する。
• 訓練済み分類器に基づく条件付きp値を用いて、生成および再構成されたサンプルがそのクラス分布に対してどれほど「典型であるか」を定量的に評価する。
• VAEから生成されたサンプルを学習セットに追加し、モデルを再訓練することで、生成品質の向上を評価する。
• 異なる$eta$値を用いて、畳み込み型および全結合型VAEアーキテクチャをMNISTで学習させ、感度と一般化性能を評価する。
• 異なる$eta$値における生成損失、学習損失、テスト損失、FIDスコアを比較し、知覚的品質との相関関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 FIDや人間の知覚による測定と照らして、生成損失は実際に生成品質と相関しているか？
• RQ2 平均潜在変数からの繰り返し符号化・復号化は、各数字クラスのより典型的で代表的な例を生成するか？
• RQ3 生成されたサンプルを用いたデータ拡張によって、VAEの生成品質が向上するか？
• RQ4 畳み込み型と全結合型VAEアーキテクチャの間で、生成損失の感度はどのように異なるか？
• RQ5 典型性の向上は、VAEの変分最適化プロセスに起因するのか、それともアーキテクチャのインダクティブバイアスに起因するのか？

主な発見

• 特に畳み込み型VAEでは、生成損失が生成品質を信頼できる指標として機能しない。生成損失は訓練損失に遅れをとる上に、FIDスコアとの相関も低い。
• 畳み込み型および全結合型MNIST VAEの両方において、平均潜在変数からの繰り返し符号化・復号化は一貫してより典型的で教科書的な数字の例を生成する。
• 条件付きp値の結果、生成および再構成されたサンプルは両方ともクラス分布のモードに収束するが、訓練サンプルの方が生成サンプルよりも速く収束する。
• 繰り返し再構成による典型性の向上にもかかわらず、生成サンプルを用いた拡張学習は、VAEの生成品質を向上させなかった。
• 生成損失の$eta$に対する感度は、全結合型VAEの方が畳み込み型VAEよりも高い。これは、アーキテクチャのインダクティブバイアスが損失の挙動に影響を与えていることを示唆する。
• 繰り返し推論によってより典型的なサンプルが生成される傾向は、VAEフレームワークに内在する性質であり、潜在空間における再構成損失の最小化に起因する可能性がある。