[論文レビュー] A Tutorial on VAEs: From Bayes' Rule to Lossless Compression

Ronald Yu|arXiv (Cornell University)|Jun 18, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用数 14

ひとこと要約

このチュートリアルは、ベイズの原理と情報理論に基づき、変分オートエンコーダー（VAEs）の包括的な導出を提供し、ベイズの定理、重要度サンプリング、および無損失圧縮を通じてその目的を明確にしている。MSE損失で訓練することや、潜在ベクトルをパラメータとして扱うことといった主な誤解を特定し、2次元のトイ例を用いてVAEが複雑な分布をモデル化可能であるが、ELBOの低分散事後分布へのバイアスのため、潜在空間の効率的カバレッジに困難をきたす可能性があることを示している。

ABSTRACT

The Variational Auto-Encoder (VAE) is a simple, efficient, and popular deep maximum likelihood model. Though usage of VAEs is widespread, the derivation of the VAE is not as widely understood. In this tutorial, we will provide an overview of the VAE and a tour through various derivations and interpretations of the VAE objective. From a probabilistic standpoint, we will examine the VAE through the lens of Bayes' Rule, importance sampling, and the change-of-variables formula. From an information theoretic standpoint, we will examine the VAE through the lens of lossless compression and transmission through a noisy channel. We will then identify two common misconceptions over the VAE formulation and their practical consequences. Finally, we will visualize the capabilities and limitations of VAEs using a code example (with an accompanying Jupyter notebook) on toy 2D data.

研究の動機と目的

• VAEの確率的および情報理論的基盤を明確にし、実務における一般的な誤解を越えて解明すること。
• ベイズ推論、重要度サンプリング、変数変換の複数の導出法を通じてVAEの目的を説明すること。
• 無損失圧縮およびノイズのあるチャネル伝送の観点からVAEを再解釈し、情報理論と結びつけること。
• 2つの広く見られる誤解（VAEの訓練にMSE損失を使用すること、潜在ベクトルをパラメータとして扱うこと）を特定し、是正すること。
• Jupyterノートブックを用いた可視化可能な2次元データ例を通じて、VAEの能力と限界を実証的に示すこと。

提案手法

• ベイズの定理を用いて、事後分布の近似からエビデンス下限（ELBO）が導かれる過程を導出。
• 重要度サンプリングを適用し、対数尤度の推定を改善することで、訓練目的におけるバイアスを低減。
• 変数変換の公式を用いて、潜在空間における勾配推定のための再パラメータ化トリックを形式化。
• VAEを無損失圧縮のシステムとして解釈し、エンコーダーがデータを圧縮し、デコーダーが最小限の情報損失で再構築することを明示。
• VAEをノイズのあるチャネルとしてモデル化し、潜在変数を確率的ブottleneckとして扱い、レート歪み理論と結びつける。
• 2次元のトイデータセット（多峰性を持つ分布）を用いて、VAEの潜在空間、密度推定、再構築行動を可視化。

実験結果

リサーチクエスチョン

• RQ1 VAEの目的は、ベイズ推論とエビデンス下限（ELBO）からどのように導かれるか？
• RQ2 無損失圧縮およびノイズのあるチャネル伝送の観点から、VAEはどのように解釈できるか？
• RQ3 標準VAEの目的関数は、なぜ潜在空間の低確率領域の探索を妨げるのか？
• RQ4 VAEがMSE損失で訓練可能であるという誤解の実務的影響は何か？
• RQ5 重要度重み付きオートエンコーダー（IWAE）は、対数尤度推定および潜在空間カバレッジの面で、標準VAEをどのように改善するか？

主な発見

• VAEにおける負のELBO目的関数は、事後分布の分散が訓練中に減少する際、潜在空間の低確率領域の探索を妨げるバイアスを導入する。
• 対数尤度の推定に重要度サンプリングを用いることで、標準ELBOに比べて真の対数尤度に対するタイトな下限が得られ、密度推定の精度が向上する。
• 10個の重要度サンプルを用いたIWAEは、反復あたり有効データ量が半分の標準VAEよりも顕著に優れた負の対数尤度スコアを達成する。
• 事後分布の分散が減少するにつれ、VAEの潜在空間の拡張が遅くなり、収束が遅れたり、高確率領域の完全カバレッジが不可能になる可能性がある。
• VAEがMSE損失で訓練可能であるという誤解は、モデルの確率的性質に関する誤った仮定を生み出し、ぼんやりとした再構築を引き起こす可能性がある。
• 理想的な状況（完全に分離された潜在変数や高次元離散データなど）では理論的に完璧なモデル化が可能であるが、勾配降下法による学習ではしばしば実現不可能である。