[論文レビュー] On the Necessity and Effectiveness of Learning the Prior of Variational Auto-Encoder

Haowen Xu, Wenxiao Chen+4 more|arXiv (Cornell University)|May 31, 2019

Neural Networks and Applications参考文献 34被引用数 9

ひとこと要約

この論文は、集約事後分布が単位ガウス分布と一致しない場合に、変分オートエンコーダー（VAEs）における事前分布の学習の必要性と有効性を証明し、Real NVPに基づく学習済み事前分布を提案することで、再構成誤差とテスト負の対数尤度（NLL）の両方を改善している。驚くべきことに、1つの潜在変数と学習済み事前分布を用いるだけで、深層階層的VAEsに匹敵するNLLが達成され、標準事前分布を用いた複雑なアーキテクチャを上回っている。

ABSTRACT

Using powerful posterior distributions is a popular approach to achieving better variational inference. However, recent works showed that the aggregated posterior may fail to match unit Gaussian prior, thus learning the prior becomes an alternative way to improve the lower-bound. In this paper, for the first time in the literature, we prove the necessity and effectiveness of learning the prior when aggregated posterior does not match unit Gaussian prior, analyze why this situation may happen, and propose a hypothesis that learning the prior may improve reconstruction loss, all of which are supported by our extensive experiment results. We show that using learned Real NVP prior and just one latent variable in VAE, we can achieve test NLL comparable to very deep state-of-the-art hierarchical VAE, outperforming many previous works with complex hierarchical VAE architectures.

研究の動機と目的

• 集約事後分布が単位ガウス事前分布と一致しない場合に、VAEsにおける事前分布の学習の必要性と有効性を形式的に証明すること。
• 集約事後分布が単位ガウス事前分布と一致しない理由を分析し、分布の不一致がその根本的原因であると特定すること。
• 事前分布の学習が再構成誤差を低減し、特に低事後確率サンプルにおける生成品質を向上させられることを示すこと。
• 1つの潜在変数と学習済みReal NVP事前分布を備えた単純なVAEが、深層階層的VAEsと同等の性能を達成できることを示すこと。
• 学習済み事前分布が低品質な補間や低事後確率サンプルに対して高い尤度を割り当てないことを検証すること。

提案手法

• 柔軟で非ガウス的な事前分布を可能にする、Real NVPに基づく正規化フローを提案し、事前分布を学習可能にする。
• エンコーダーとデコーダーとともに事前分布をエンドツーエンドで最適化する共同学習スキームを導入し、ELBO最適化を改善する。
• 学習済み事前分布を含むELBOのモンテカルロ推定器を用い、勾配ベースの最適化を可能にする。
• 再訓練なしに既存モデルに対する学習済み事前分布の影響を評価するため、事後処理による事前分布適応法を採用する。
• 先行研究の低事後確率サンプル検出アルゴリズムを適用し、学習済み事前分布が問題のある潜在コードに対して低い尤度を割り当てるかどうかを評価する。
• 4つのバイナリ化データセットと4種類の異なるアーキテクチャを用いて、一般化性を検証する包括的なアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 集約事後分布が単位ガウス事前分布と一致しない場合に、事前分布の学習は必要かつ有効であるか？
• RQ2 集約事後分布が単位ガウス事前分布と一致しない理由は何か？その分布の不一致の原因は何か？
• RQ3 事前分布の学習は再構成誤差を低減し、特に低事後確率サンプルにおける生成品質を向上させられるか？
• RQ4 1つの潜在変数と学習済みReal NVP事前分布を備えた単純なVAEが、深層階層的VAEsと同等の性能を達成できるか？
• RQ5 学習済み事前分布は、潜在空間における低品質な補間や低事後確率サンプルに対して高い尤度を割り当てないか？

主な発見

• 1つの潜在変数とReal NVP事前分布を用いることで、バイナリ化MNIST、EMNIST、Fashion-MNISTにおいて、最先端の深層階層的VAEsと同等のテスト負の対数尤度（NLL）が達成された。
• 学習済み事前分布は、低事後確率サンプルに割り当てる尤度を顕著に低減し、問題のある潜在コードに対して高いスコアを割り当てない。
• Real NVP事前分布を共同で学習したVAEは、すべてのデータセットとアーキテクチャにおいて、標準VAEおよびReal NVP事後分布を備えたVAEを上回る性能を示した。
• 事後処理で学習した事前分布は、低事後確率サンプルにおける対数事前尤度を、単位ガウス事前分布と比較して最大10倍まで低減した。これは、より優れた一般化性能を示している。
• この手法は、潜在空間における低品質な補間に対して高い尤度を割り当てないため、生成品質と耐障害性が向上した。
• フローの深さが増すと学習時間が延びるが、K=50を超えると飽和し、K=20が性能と効率の実用的トレードオフであると示唆された。