[論文レビュー] Preventing Posterior Collapse with delta-VAEs

Ali Razavi, Aäron van den Oord+2 more|arXiv (Cornell University)|Jan 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 13

ひとこと要約

この論文は、変分オートエンコーダーにおける後方分布崩壊を防ぐため、近似事後分布と事前分布の間の最小KLダイバージェンス（δ）を強制することで、ELBO目的関数を変更せずに強力な自己回帰的デコーダーの使用を可能にするδ-VAEを提案する。この手法は、CIFAR-10およびImageNet 32×32で最先端の対数尤度を達成するとともに、分解能が高く意味のある表現を学習する。

ABSTRACT

Due to the phenomenon of "posterior collapse," current latent variable generative models pose a challenging design choice that either weakens the capacity of the decoder or requires augmenting the objective so it does not only maximize the likelihood of the data. In this paper, we propose an alternative that utilizes the most powerful generative models as decoders, whilst optimising the variational lower bound all while ensuring that the latent variables preserve and encode useful information. Our proposed $δ$-VAEs achieve this by constraining the variational family for the posterior to have a minimum distance to the prior. For sequential latent variable models, our approach resembles the classic representation learning approach of slow feature analysis. We demonstrate the efficacy of our approach at modeling text on LM1B and modeling images: learning representations, improving sample quality, and achieving state of the art log-likelihood on CIFAR-10 and ImageNet $32 imes 32$.

研究の動機と目的

• 強力なデコーダーを備えても、潜在変数が情報を持たなくなるという、VAEにおける恒久的な問題である後方分布崩壊を解消すること。
• 潜在変数が有用な情報を保持するように保ちつつ、標準的なELBO訓練目的関数を維持すること。
• モデル容量を弱めるか目的関数を変更せずに、VAEに最先端の自己回帰的デコーダーを導入すること。
• 密度モデリングの性能を犠牲にせずに、下流タスクのための分解能が高く意味のある表現を学習すること。

提案手法

• 変分事後分布 q(z|x) と事前分布 p(z) の間の最小KLダイバージェンス制約 δ を導入し、事後分布が事前分布に崩壊しないように保証する。
• D_KL(q(z|x) || p(z)) ≥ δ を満たすようにELBOを最小化する訓練目的関数を定式化し、制約付き最適化またはパラメトリックな族を用いる。
• 時系列依存性をモデル化するため、反因果的エンコーダーを備えた逐次的潜在変数構造を採用し、スローフィーチャー分析に類似する。
• 自己回帰的事前分布（例：AR(1)または補助的事前分布）を用いて構造的でない潜在系列をモデル化し、制御可能な生成を可能にする。
• 固定分散のガウス分布などのパラメトリック族を用いて制約を実装し、訓練中に最小δが保証されるようにする。
• 画像生成およびテキスト生成の両方の分野にこのフレームワークを適用し、強力な自己回帰的デコーダーを用い、標準ELBOの共同最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 ELBO目的関数を変更したりデコーダーの性能を弱めたりせずに、VAEにおける後方分布崩壊を防ぐことは可能か？
• RQ2 事後分布と事前分布の間の最小KLダイバージェンスを強制することで、より情報量が多く、分解能の高い表現が得られるか？
• RQ3 δ-VAEは、CIFAR-10 や ImageNet 32×32 といった画像生成ベンチマークで最先端の対数尤度を達成できるか？
• RQ4 δ-VAEフレームワークは、下流タスクのための分解能の高い表現を学習するのにどの程度効果的か？
• RQ5 反因果的エンコーダーを備えた逐次的潜在変数を用いることで、生成品質と制御性が向上するか？

主な発見

• δ-VAEは、強力な自己回帰的デコーダーを用いながらも、CIFAR-10で最先端の対数尤度を達成した。
• ImageNet 32×32では、競争力のある対数尤度スコアを達成し、高解像度画像生成へのスケーラビリティを示した。
• 潜在空間における意味のある線形補間の結果から、モデルは分解能が高く解釈可能な表現を学習していることが示された。
• 補間実験により、滑らかで意味的に整合性のある生成経路が得られ、構造的かつ分解能の高い表現が得られていることが示された。
• 強力なデコーダーを使用しても、意味のある分解能の高い表現が得られ、高品質なサンプル生成が可能になった。
• 標準的なELBO目的関数を維持しながらも、後方分布崩壊を効果的に防ぐことができ、既存のVAEアーキテクチャに即座に適用可能なプラグアンドプレイなソリューションを提供した。