[論文レビュー] Posterior Collapse and Latent Variable Non-identifiability

Zhaoran Wang, John P. Cunningham+1 more|arXiv (Cornell University)|Jan 2, 2023

Explainable Artificial Intelligence (XAI)被引用数 26

ひとこと要約

要約: 論文は VAEs における後方崩壊が潜在変数の非同定性と同値であり、 Brenier マップと入力凸ニューラルネットワークを用いて Lidvae（ latent-identifiable VAEs）を導入し、VAE の目的を変えずに同定性を保証する方法を提案する。

ABSTRACT

Variational autoencoders model high-dimensional data by positing low-dimensional latent variables that are mapped through a flexible distribution parametrized by a neural network. Unfortunately, variational autoencoders often suffer from posterior collapse: the posterior of the latent variables is equal to its prior, rendering the variational autoencoder useless as a means to produce meaningful representations. Existing approaches to posterior collapse often attribute it to the use of neural networks or optimization issues due to variational approximation. In this paper, we consider posterior collapse as a problem of latent variable non-identifiability. We prove that the posterior collapses if and only if the latent variables are non-identifiable in the generative model. This fact implies that posterior collapse is not a phenomenon specific to the use of flexible distributions or approximate inference. Rather, it can occur in classical probabilistic models even with exact inference, which we also demonstrate. Based on these results, we propose a class of latent-identifiable variational autoencoders, deep generative models which enforce identifiability without sacrificing flexibility. This model class resolves the problem of latent variable non-identifiability by leveraging bijective Brenier maps and parameterizing them with input convex neural networks, without special variational inference objectives or optimization tricks. Across synthetic and real datasets, latent-identifiable variational autoencoders outperform existing methods in mitigating posterior collapse and providing meaningful representations of the data.

研究の動機と目的

• 後方崩壊と潜在変数の非同定性の間の関係を variational autoencoders で明確にする。
• 後方崩壊は神経網を用いた VAEs に限らず、古典的なモデルの厳密推論においても発生し得ることを示す。
• variational objective を変更せずに同定性を保証する latent-identifiable VAE（lidvae）を提案・検証する。
• lidvae が合成データと実データの両方で後方崩壊を緩和しつつデータ忠実度を保持することを示す。

提案手法

• 後方崩壊と潜在変数の非同定性を形式的に定義し、それらの同値性を証明する（定理1）。
• 同定性は推論や最適化だけでなく、モデルとデータに依存するものであると主張する。
• Brenier マップを介して injective な尤度を icNNs でパラメータ化して lidvae を構築する。
• p(x|z) のための injective な写像を作るために、対角ゼロ和一行列を用いた二段階の Brenier マップの合成を用いる。
• lidvae は古典的な VAE と同じ推論手続きを維持しつつ同定性を保証する（命題2）。
• lidvae を潜在 identifi able mixtures（lidmvae）および逐次的な変種（lidsvae）へ拡張し、同様の injective 抽出を適用する。

(a) Non-ID GMVAE

実験結果

リサーチクエスチョン

• RQ1 後方崩壊は生成モデルの潜在変数の非同定性と本質的に結びついているのか？
• RQ2 VAE の目的や推論手続きを変更せずに潜在変数の同定性を達成できるのか？
• RQ3 lidvae はタスク間でデータ忠実度を維持または向上させつつ後方崩壊を緩和できるのか？
• RQ4 Brenier マップと入力凸ニューラルネットワークは VAEs における同定性を実用的かつスケーラブルに提供できるのか？
• RQ5 lidmvae および lidsvae のような identifiable な混合・逐次 VAEs は標準的な VAE の枠を超えて同定性の利点を一般化できるのか？

主な発見

Dataset	AU	KL	MI	LL
Fashion-MNIST	0.1	0.2	0.9	-258.8
SA-vae	0.2	0.3	1.3	-252.2
Lagging vae	0.4	0.6	1.6	-248.5
beta-vae	0.6	1.2	2.4	-245.3
lidgmvae (this work)	1.0	1.6	2.6	-242.3

• 後方崩壊は生成モデルで潜在変数が非同定である場合に限り発生する（定理1）。
• 潜在識別可能な VAEs（lidvae）は Brenier マップを用いて icNN でパラメータ化された injective な尤度を構築することで潜在変数の同定性を保証する。
• lidvae は標準的な VAE 推論目的と能力を保持しつつ後方崩壊を回避するが、計算コストが増加する。
• lidmvae や lidsvae のような潜在識別可能な変種は混合モデルおよび逐次的な VAE に同定性の利点を拡張する。
• 経験的結果は lidvae が Synthetic および実データセットにおいて既存のVAEsよりも後方崩壊の緩和で優れており、データ適合性を犠牲にしないことを示す。

(b) IDGMVAE