[論文レビュー] Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains

Francisco J. R. Ruiz, Michalis K. Titsias+2 more|arXiv (Cornell University)|Jul 27, 2021

Generative Adversarial Networks and Image Synthesis被引用数 3

ひとこと要約

この論文は、重要度サンプリングされた拡張された潜在空間上で結合されたマルコフ連鎖を用いて、変分オートエンコーダー（VAEs）のトレーニングのための不偏勾配推定法を提案する。この空間上で結合手続きを構築することにより、有限分散で不偏な勾配推定器を最大尤度トレーニングに利用可能にし、標準的なVAEsに比べて予測性能が向上する。

ABSTRACT

The variational auto-encoder (VAE) is a deep latent variable model that has two neural networks in an autoencoder-like architecture; one of them parameterizes the model's likelihood. Fitting its parameters via maximum likelihood (ML) is challenging since the computation of the marginal likelihood involves an intractable integral over the latent space; thus the VAE is trained instead by maximizing a variational lower bound. Here, we develop a ML training scheme for VAEs by introducing unbiased estimators of the log-likelihood gradient. We obtain the estimators by augmenting the latent space with a set of importance samples, similarly to the importance weighted auto-encoder (IWAE), and then constructing a Markov chain Monte Carlo coupling procedure on this augmented space. We provide the conditions under which the estimators can be computed in finite time and with finite variance. We show experimentally that VAEs fitted with unbiased estimators exhibit better predictive performance.

研究の動機と目的

• VAEsの最大尤度トレーニングにおける不確実な周辺尤度計算の課題に対処すること。
• 変分下界最適化に内在するバイアスを回避する不偏勾配推定器をVAEs用に開発すること。
• 拡張された潜在空間上での新しい結合メカニズムにより、有限分散かつ計算可能な勾配推定器を実現すること。
• 不偏勾配を用いた最大尤度によるトレーニングにより、VAEsの予測性能を向上させること。
• 提案された推定器が有限時間内で有限分散で計算可能であるための理論的条件を確立すること。

提案手法

• 重要度サンプリングを用いて、IWAEと同様に複数の重要度サンプルで潜在空間を拡張し、拡張された状態空間を構築する。
• 拡張された潜在空間上でマルコフ連鎖モンテカルロ（MCMC）の結合手続きを構築し、従属するサンプルを生成する。
• 結合されたサンプルを用いて、パスワイズ微分により尤度の勾配の不偏推定器を導出する。
• マルコフ連鎖の結合および再帰性の条件を満たすことで、有限分散および有限計算時間を保証する。
• 不偏勾配推定器をVAEsの最大尤度トレーニング目的関数に統合する。
• 結合構造を活用して勾配推定の分散を低減しつつ、不偏性を維持する。

実験結果

リサーチクエスチョン

• RQ1 変分下界に依存せずに、VAEs用に不偏勾配推定器を構築できるか？
• RQ2 どのような条件下で、有限時間内で有限分散の不偏勾配推定が可能か？
• RQ3 拡張された潜在空間上で結合されたマルコフ連鎖を用いることで、標準VAEsに比べてVAEsのトレーニング性能が向上するか？
• RQ4 予測精度およびトレーニング安定性の観点から、提案手法はIWAEと比較してどのように異なるか？
• RQ5 結合メカニズムは、不偏性を保ちつつ、勾配推定の分散を効果的に低減できるか？

主な発見

• 提案手法は、変分近似バイアスを回避する不偏勾配推定器をVAEsに提供し、変分下界に依存しない直接的な最大尤度トレーニングを可能にする。
• マルコフ連鎖の特定の結合および再帰性条件を満たせば、有限分散および有限計算時間が達成可能である。
• 不偏勾配を用いた最大尤度によるトレーニングにより、VAEsは下流タスクにおける予測性能が向上する。
• 実験的結果により、提案された不偏推定器を用いてトレーニングされたVAEsが、標準VAEsに比べて予測精度で優れていることが示された。
• 拡張された潜在空間上での結合手順により、勾配の分散が効果的に低減されつつ不偏性が維持され、トレーニングの安定性が向上した。
• MCMCに基づく結合を用いることで、重要度重み付けに依存するのみでない、不偏学習を可能にするという点で、IWAEフレームワークを一般化した。