[論文レビュー] The Usual Suspects? Reassessing Blame for VAE Posterior Collapse

Bin Dai, Ziyu Wang+1 more|arXiv (Cornell University)|Dec 23, 2019

Gaussian Processes and Bayesian Inference参考文献 35被引用数 28

ひとこと要約

この論文は、VAEの後方崩壊の主な原因がKL正則化であるという従来の見解に挑戦し、深層オートエンコーダの損失関数の局所的最小値がその主要因であることを示している。小さな非線形摂動がアフィンVAEデコーダーに与えられても、後方崩壊を引き起こすことができることを証明しており、より深いモデルは特定の条件下で、すべての潜在変数情報を無視する強力なトリンケーション演算子として機能する可能性がある。

ABSTRACT

In narrow asymptotic settings Gaussian VAE models of continuous data have been shown to possess global optima aligned with ground-truth distributions. Even so, it is well known that poor solutions whereby the latent posterior collapses to an uninformative prior are sometimes obtained in practice. However, contrary to conventional wisdom that largely assigns blame for this phenomena on the undue influence of KL-divergence regularization, we will argue that posterior collapse is, at least in part, a direct consequence of bad local minima inherent to the loss surface of deep autoencoder networks. In particular, we prove that even small nonlinear perturbations of affine VAE decoder models can produce such minima, and in deeper models, analogous minima can force the VAE to behave like an aggressive truncation operator, provably discarding information along all latent dimensions in certain circumstances. Regardless, the underlying message here is not meant to undercut valuable existing explanations of posterior collapse, but rather, to refine the discussion and elucidate alternative risk factors that may have been previously underappreciated.

研究の動機と目的

• VAEの後方崩壊の根本的要因を再検討し、KL発散正則化が原因であるという支配的であるとされる見解に反論すること。
• 深層オートエンコーダのアーキテクチャにおける損失関数の局所的最小値が、後方崩壊に本質的に寄与するかどうかを調査すること。
• 非線形性がデコーダー構造に与える影響が、適切に定義されたモデルですら病理的な最適化行動を引き起こすかどうかを分析すること。
• より深いモデルにおいて、VAEがすべての潜在次元にわたって情報を破棄するトリンケーション演算子として機能することを示すこと。
• 最適化の損失関数の構造に関連する軽視されがちなリスク要因を特定することで、既存の後方崩壊の説明を洗練させること。

提案手法

• 小さな非線形摂動がアフィンVAEデコーダーモデルに与えられても、局所的最小値が生成され、それによって後方崩壊が引き起こされることを証明する。
• 再パラメトリゼーショントリックを用いたバックプロパゲーションにより、エンコーダーおよびデコーダーの重みに関する勾配の動的挙動を分析する。
• エンコーダーのパラメータ（平均および分散）に関する勾配が、デコーダーが非自明であっても消える条件を導出する。
• デコーダーの重みがゼロである場合、再構成損失が特定の潜在次元に依存しなくなり、それらの次元に関する勾配がゼロになることを示す。
• 潜在変数の期待値を用いて、対称性とゼロ平均ガウス事前分布のため、デコーダーの重みに関する勾配が消失する理由を示す。
• エンコーダーの勾配がゼロで、再構成損失が不変であるという組み合わせが、安定した情報のない後方崩壊をもたらすことを確立する。

実験結果

リサーチクエスチョン

• RQ1 KL正則化とは独立して、VAEの損失関数の局所的最小値が後方崩壊を引き起こす可能性があるか？
• RQ2 デコーダー構造における非線形性が、どの程度病理的な最適化行動を引き起こすか？
• RQ3 VAEの目的関数がエンコーダーのパラメータを更新しなくなる条件は何か？ その結果、情報のない後方分布が生じる。
• RQ4 深層VAEは、すべての潜在次元にわたって情報を破棄する強力なトリンケーション演算子として機能するか？
• RQ5 エンコーダーにおける勾配の消失が、崩壊した後方分布の持続にどのように寄与するか？

主な発見

• アフィンVAEデコーダーモデルに対する小さな非線形摂動ですら、KL項が良好に保たれている状況でも、局所的最小値を生成し、後方崩壊を引き起こす可能性がある。
• 本論文は、デコーダーが情報を持たない場合、エンコーダーのパラメータ（平均および分散）に関する勾配が消失し、情報のない後方分布が生じることを証明している。
• より深いモデルでは、VAEの目的関数が、すべての潜在次元が無視される状態に安定し、トリンケーション演算子として機能する可能性がある。
• デコーダーの重みがゼロである場合、再構成損失は特定の潜在次元に依存しなくなり、モデルがそれらの次元を完全に無視するようになる。
• エンコーダーにおける勾配の消失は、事前分布のゼロ平均性とガウス分布の対称性に起因し、デコーダーが非自明であっても発生する。
• 本分析により、後方崩壊はKL正則化に起因するだけでなく、深層オートエンコーダの最適化の損失関数の構造にも起因することが示された。