[論文レビュー] A-NICE-MC: Adversarial Training for MCMC

Jiaming Song, Shengjia Zhao+1 more|arXiv (Cornell University)|Jun 23, 2017

Generative Adversarial Networks and Image Synthesis被引用数 61

ひとこと要約

A-NICE-MC は、正規化フローを用いて、MCMC サンプリングのための効率的でドメイン固有のマルコフ連鎖カーネルを自動で学習する、尤度フリーな敵対的訓練フレームワークを提案する。ブートストラップアプローチにより、モデルとサンプルの両方を反復的に改善することで、ハミルトニアン・モンテカルロや他のベースラインと比較して、より速い収束と優れた性能を達成する。

ABSTRACT

Existing Markov Chain Monte Carlo (MCMC) methods are either based on general-purpose and domain-agnostic schemes, which can lead to slow convergence, or require hand-crafting of problem-specific proposals by an expert. We propose A-NICE-MC, a novel method to train flexible parametric Markov chain kernels to produce samples with desired properties. First, we propose an efficient likelihood-free adversarial training method to train a Markov chain and mimic a given data distribution. Then, we leverage flexible volume preserving flows to obtain parametric kernels for MCMC. Using a bootstrap approach, we show how to train efficient Markov Chains to sample from a prescribed posterior distribution by iteratively improving the quality of both the model and the samples. A-NICE-MC provides the first framework to automatically design efficient domain-specific MCMC proposals. Empirical results demonstrate that A-NICE-MC combines the strong guarantees of MCMC with the expressiveness of deep neural networks, and is able to significantly outperform competing methods such as Hamiltonian Monte Carlo.

研究の動機と目的

• 手動で設計されたプロポーザルに依存する一般化された MCMC 方法の収束が遅いという問題に対処すること。
• 専門家が設計したプロポーザル分布の必要性を排除し、問題固有の MCMC カーネルの学習を自動化すること。
• MCMC の理論的保証と深層ニューラルネットワークの表現力の両方を統合すること。
• 明示的な尤度が不要な、スケーラブルでエンドツーエンドのフレームワークを構築すること。

提案手法

• 尤度が明示的に与えられない状況でも、ターゲットデータ分布を模倣するようにマルコフ連鎖を訓練する、尤度フリーな敵対的訓練方式を採用する。
• 柔軟で体積を保存する正規化フローを用いて、MCMC の遷移カーネルをパrameter化する。
• モデルと生成されたサンプルの両方を反復的に精緻化するためのブートストラップ戦略を適用する。
• 敵対的損失を用いて、マルコフ連鎖がターゲット事後分布に一致するサンプルを生成する能力を最適化する。
• 正規化フローを統合することで、遷移カーネルが可逆であり、ヤコビアン行列式の計算が容易であることを保証する。
• ターゲット分布からのサンプルのみを用いて、自己教師ありの方法で MCMC カーネルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的な尤度がなくても、敵対的訓練を効果的に MCMC 遷移カーネルの学習に適用できるか？
• RQ2 正規化フローは、標準的なプロポーザルを上回る柔軟性と効率性を持つ MCMC カーネルを生成できるか？
• RQ3 モデルとサンプルの反復的ブートストラップ精緻化は、収束速度の向上とサンプル品質の向上をもたらすか？
• RQ4 このフレームワークは、専門家の干渉なしにドメイン固有のプロポーザルを自動で学習できるか？

主な発見

• A-NICE-MC は、有効サンプルサイズと収束速度の観点で、ハミルトニアン・モンテカルロや他のベースライン MCMC 法を著しく上回る。
• 明示的な尤度計算を必要とせず、高品質な事後分布サンプリングを達成する。
• 体積を保存するフローの使用により、妥当な MCMC 遷移カーネルが得られ、ヤコビアン行列式の計算が容易になる。
• 反復的ブートストラップ精緻化により、複数の反復ステップを通じてモデルの精度とサンプル品質の両方が向上する。