[論文レビュー] Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse

James Lucas, George Tucker+2 more|arXiv (Cornell University)|Nov 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 18

ひとこと要約

この論文は、線形VAEを分析することで、ELBO目的関数がVAEにおける後退分布の崩壊を引き起こすという一般的な信念に挑戦している。線形VAEは正確にpPCA解を回復することを示し、ELBOが尤度対数の局所最適解に加えて余分な偽の局所最適解を導入しないことを証明している。観測ノイズが崩壊した解からの脱出に重要であることが明らかになった。これらの知見は非線形VAEにも拡張可能である。

ABSTRACT

Posterior collapse in Variational Autoencoders (VAEs) arises when the variational posterior distribution closely matches the prior for a subset of latent variables. This paper presents a simple and intuitive explanation for posterior collapse through the analysis of linear VAEs and their direct correspondence with Probabilistic PCA (pPCA). We explain how posterior collapse may occur in pPCA due to local maxima in the log marginal likelihood. Unexpectedly, we prove that the ELBO objective for the linear VAE does not introduce additional spurious local maxima relative to log marginal likelihood. We show further that training a linear VAE with exact variational inference recovers an identifiable global maximum corresponding to the principal component directions. Empirically, we find that our linear analysis is predictive even for high-capacity, non-linear VAEs and helps explain the relationship between the observation noise, local maxima, and posterior collapse in deep Gaussian VAEs.

研究の動機と目的

• VAEにおける後退分布の崩壊はELBO目的関数によるものだと広く信じられているが、これを挑戦すること。
• 後退分布の崩壊の根本的要因を理解するための取り扱いやすいモデルとして線形VAEを分析すること。
• ELBOが崩壊した後退分布を引き起こす偽の局所最適解を導入するかどうかを調査すること。
• 観測ノイズがVAE学習中の劣悪な解からの脱出に果たす役割を特定すること。
• 線形モデルから得た知見を高容量の非線形VAEに拡張すること。

提案手法

• 対角線の変分後退分布を用いた線形VAEを分析し、確率的主成分分析（pPCA）と直接的な対応関係を確立する。
• 線形VAEにおけるELBOのグローバル最適解が真の主成分方向を正確に回復することを証明する。
• 線形VAEにおけるELBO目的関数は、尤度対数の最適化と比較して追加の偽の局所最適解を有しないことを示す。
• pPCAの定常点の理論的分析を用い、観測ノイズ分散と崩壊した解の安定性との関連を結びつける。
• MNISTおよびCelebAデータセット上で深層ガウス型VAEを実験的に評価し、観測ノイズを変化させ、KLダイバージェンスを用いて後退分布の崩壊を測定する。
• KLアンケーリングを適用し、訓練過程における潜在次元の崩壊を追跡することで理論的予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 ELBO目的関数は線形VAEにおける後退分布の崩壊を引き起こす偽の局所最適解を導入するか？
• RQ2 線形VAEは正確な主成分方向を回復できるか？ また、ELBO下でその解はグローバル最適解か？
• RQ3 観測ノイズは、後退分布の崩壊に対応する局所最適解の安定性にどのように影響するか？
• RQ4 線形VAEから得た知見は高容量の非線形VAEに一般化可能か？
• RQ5 観測ノイズを制御することで、深層VAEにおける崩壊した解からの脱出が可能か？

主な発見

• 線形VAEにおけるELBOは、尤度対数の最適化に起因する局所最適解以外に、偽の局所最適解を導入しない。
• 線形VAEのELBOのグローバル最適解は、主成分方向の部分空間だけでなく、正確な方向を回復する。
• pPCAにおける後退分布の崩壊は、ELBO目的関数に起因するのではなく、尤度対数の局所最適解に起因する。
• 観測ノイズは、崩壊した解からの脱出において重要な役割を果たす。ノイズを減らすことで、劣悪な局所最適解からの脱出が促進される。
• 深層ガウス型VAEの実験結果から、観測ノイズを低くすると後退分布の崩壊が減少することが示された。
• CelebAでは、観測ノイズを0.001に固定した場合、後退分布の崩壊は平均で2680.2%に達したが、ノイズを最適化することで崩壊は483.8%に減少した。