[論文レビュー] Learning Model Reparametrizations: Implicit Variational Inference by Fitting MCMC distributions

Michalis K. Titsias|arXiv (Cornell University)|Aug 4, 2017

Gaussian Processes and Bayesian Inference参考文献 37被引用数 16

ひとこと要約

本稿では、対数密度比の計算を必要とせず、柔軟で微分可能な変分近似を構築するために、マルコフ連鎖モンテカルロ（MCMC）遷移と学習可能なモデルベース再パラメータ化を組み合わせた、新しい暗黙的変分推論手法を提案する。MCMCから得られる暗黙的分布に再パラメータ化トリックを適用することで、連続的かつ微分可能なモデルにおける安定的でスケーラブルな最適化を可能にし、複雑な分布および変分オートエンコーダーにおいて優れた事後分布近似性能と生成性能を達成する。

ABSTRACT

We introduce a new algorithm for approximate inference that combines reparametrization, Markov chain Monte Carlo and variational methods. We construct a very flexible implicit variational distribution synthesized by an arbitrary Markov chain Monte Carlo operation and a deterministic transformation that can be optimized using the reparametrization trick. Unlike current methods for implicit variational inference, our method avoids the computation of log density ratios and therefore it is easily applicable to arbitrary continuous and differentiable models. We demonstrate the proposed algorithm for fitting banana-shaped distributions and for training variational autoencoders.

研究の動機と目的

• MCMCを用いることで非パラメトリックな柔軟性を獲得することで、変分推論における最適化効率と近似の柔軟性のトレードオフを解消すること。
• 明示的な対数密度比の計算を必要とせず、微分可能な最適化を可能にする暗黙的変分分布の安定的かつスケーラブルな最適化を実現すること。
• MCMC（柔軟で非パラメトリックな事後分布近似）と変分推論（高速でスケーラブルな最適化）の長所をモデルベース再パラメータ化によって統合すること。
• 任意の連続的かつ微分可能なモデルに適用可能であり、アンモタイズド推論とエンドツーエンド学習をサポートする手法を開発すること。

提案手法

• MCMC遷移カーネルからのサンプルに決定的変換を適用することで暗黙的変分分布を構築し、再パラメータ化トリックにより微分可能性を実現する。
• ノイズ変数 $ \bm{\epsilon} \sim q_{\text{MCMC}}(\bm{\epsilon}) $ を潜在変数 $ \mathbf{z} = L(\mathbf{x})\bm{\epsilon} + \bm{\mu}(\mathbf{x}) $ に写像するための学習可能な再パラメータ化関数 $ L(\mathbf{x}) $ と $ \bm{\mu}(\mathbf{x}) $ を用いる。
• 再パラメータ化勾配を用いた確率的勾配降下法により、変分下界 $ \mathcal{F}(\bm{\theta}) = \mathbb{E}_{q(\mathbf{z};\bm{\theta})}[\log p(\mathbf{x},\mathbf{z}) - \log q(\mathbf{z};\bm{\theta})] $ を最適化する。
• 柔軟で複雑な事後分布近似を実現するために、ハミルトニアン・モンテカルロ（HMC）またはランダムウォークメトロポリス・ハスティングス（MH）をMCMCカーネルとして採用する。
• MCMC出力を暗黙的分布として扱うことで、対数密度比の計算を回避し、明示的な密度評価を必要としない勾配ベース最適化を可能にする。
• アンモタイズド推論を適用：テスト入力 $ \mathbf{x}_* $ に対して、$ \bm{\epsilon}_* \sim q_{\text{MCMC}}(\bm{\epsilon}) $ を生成し、$ \mathbf{z}_* = L(\mathbf{x}_*)\bm{\epsilon}_* + \bm{\mu}(\mathbf{x}_*) $ を計算することで、最適化を再実行せずに高速な事後分布サンプリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 MCMC遷移を用いて、再パラメータ化による微分可能で学習可能な柔軟な暗黙的変分分布を構築できるか？
• RQ2 明示的な対数密度比の計算を回避することで、暗黙的変分推論における安定性とスケーラビリティが向上するか？
• RQ3 MCMCベースの再パラメータ化は、標準的なガウス分布やノーマライジングフローに基づく変分近似を上回る性能を示すか？
• RQ4 MCMCと再パラメータ化の組み合わせは、変分オートエンコーダーにおける学習安定性と再構成品質にどのように影響を与えるか？

主な発見

• HMCベースの手法は、潜在次元 $ n=5 $ の場合、MNISTテストデータで-104.1400の交差エントロピー再構成スコアを達成した。これは標準ガウス近似の-111.2939よりも優れた結果である。
• 潜在次元 $ n=10 $ 時、HMCベースの手法は-82.3134の交差エントロピーを達成した。これはガウスベースラインの-87.3213よりも優れた生成性能を示している。
• 提案手法は、複雑なバナナ型の事後分布を効果的に捉えることができ、標準的なVIにおけるガウス近似に比べて優れた柔軟性を示した。
• アンモタイズド推論により、最適化の再実行なしにMCMCと再パラメータ化のみを用いて、テストデータの高速なサンプルベース事後分布近似が可能になった。
• 既存の暗黙的VI手法に比べ、対数密度比推定を必要としないため、収束性と学習安定性が優れていた。
• 明示的な密度評価を必要とせず、合成事後分布および実世界のVAE学習の両方で効果的な性能を示した。