[論文レビュー] Measuring the reliability of MCMC inference with bidirectional Monte Carlo

Roger Grosse, Siddharth Ancha+1 more|arXiv (Cornell University)|Jun 7, 2016

Markov Chains and Monte Carlo Methods参考文献 2被引用数 6

ひとこと要約

この論文は、WebPPL や Stan などの確率的プログラミング言語における MCMC 推論の信頼性の高い検証を可能にする BREAD と呼ばれるプロトコルを紹介する。BREAD は、近似 MCMC サンプルと真の後方分布の間の対称化 KL 発散（ジェファレーズ発散）の境界を、双方向モンテカルロを用いて求める。これにより、モデル表現の選択（例えば、潜在変数の統合）が収束速度に与える影響を明らかにでき、WebPPL では統合モデルがより速く収束するが、Stan ではそうではないことが判明。また、WebPPL の多変量正規分布サンプリングに深刻なバグが存在することがもともと明らかになった。

ABSTRACT

Markov chain Monte Carlo (MCMC) is one of the main workhorses of probabilistic inference, but it is notoriously hard to measure the quality of approximate posterior samples. This challenge is particularly salient in black box inference methods, which can hide details and obscure inference failures. In this work, we extend the recently introduced bidirectional Monte Carlo technique to evaluate MCMC-based posterior inference algorithms. By running annealed importance sampling (AIS) chains both from prior to posterior and vice versa on simulated data, we upper bound in expectation the symmetrized KL divergence between the true posterior distribution and the distribution of approximate samples. We present Bounding Divergences with REverse Annealing (BREAD), a protocol for validating the relevance of simulated data experiments to real datasets, and integrate it into two probabilistic programming languages: WebPPL and Stan. As an example of how BREAD can be used to guide the design of inference algorithms, we apply it to study the effectiveness of different model representations in both WebPPL and Stan.

研究の動機と目的

• ブラックボックス型の確率的プログラミングシステムにおける MCMC を用いた後方分布推論の正確さを評価するための、信頼性があり定量的な指標の欠如に対処すること。
• 専門家による収束診断の解釈を必要とせず、一般化され、自動的かつ厳密な推論品質の監視手法を開発すること。
• シミュレートされたデータにおける推論性能が、実世界のデータにおける性能を的確に反映しているかどうかを検証し、ベンチマーク実験の妥当性を保証すること。
• 異なる定式化における収束行動を定量的に比較することで、確率的プログラミングにおけるモデル表現の選択を支援すること。
• 前方と逆方向の AIS チェインの理論的整合性を検証することで、確率的プログラミングシステムにおける実装バグを特定すること。

提案手法

• 双方向モンテカルロ（BDMC）を拡張し、近似後方分布サンプルと真の後方分布の間の対称化 KL 発散（ジェファレーズ発散）の期待値における上界を推定する。
• 拡張された状態空間における重要度サンプリングと見なせる MCMC を用いた推論アルゴリズム（例えば、アニーリング重要度サンプリング（AIS）や逐次モンテカルロ（SMC））にこの手法を適用する。
• 正確な後方分布サンプルから始める逆方向 AIS チェインを用いて発散の上界を計算する一方で、前方チェインは確率的下界を提供する。
• BREAD（逆アニーリングを用いた発散の境界付け）を導入し、実データからハイパーパramータを推定し、それらからデータをシミュレートし、そのシミュレートデータ上で推論品質を評価することで、実データへの関連性を検証する。
• BREAD を WebPPL および Stan に統合し、これらの確率的プログラミングフレームワーク内で推論品質の自動的かつエンドツーエンドの検証を可能にする。
• 実データとシミュレートデータにおける推論行動の一貫性を診断ツールとして用い、逆方向チェインにおける誤った後方分布サンプリングなどの実装エラーを検出する。

実験結果

リサーチクエスチョン

• RQ1 MCMC を用いた後方分布推論の正確さを、ヒューリスティックな収束診断に依存しない、信頼性があり定量的な指標で得るにはどうすればよいか？
• RQ2 シミュレートされたデータにおける MCMC 推論の性能は、実世界のデータにおける性能をどの程度反映しているのか？ そして、その検証はどのように行えるか？
• RQ3 異なるモデル表現（例えば、潜在変数を統合した vs 統合しない構造）は、確率的プログラミング言語における MCMC 推論の収束速度と効率にどのように影響を与えるか？
• RQ4 双方向モンテカルロの理論的保証を用いて、確率的プログラミングシステムにおける微細な実装バグを検出できるか？
• RQ5 異なるモデルパラメータ化を選択する際の、計算効率と収束速度のトレードオフについて、どのような知見が得られるか？

主な発見

• BREAD は、WebPPL の多変量正規分布サンプリングルーチンに深刻なバグを検出した。逆方向 AIS チェインが前方チェインよりも低い対数尤度推定値を出力しており、理論的保証に反する結果であり、誤った後方分布サンプルが生成されていることを示唆した。
• Stan においては、行列因子分解の統合モデルが MCMC ステップ数の観点ではより速く収束するが、統合バージョンのステップあたりの計算コストが高いため、実行時間の観点では非統合モデルがより効率的である。
• WebPPL においては、行列因子分解の統合モデルが実行時間の観点で著しく速く収束し、ステップあたりのコストが同程度であるにもかかわらず、その言語では好ましい表現であることが判明した。
• 小さなトロイ・エクサムプルでは、真の発散と境界の両方が正確に計算可能であるため、BDMC によるジェファレーズ発散の上界が非常に正確であることが確認され、この手法の信頼性が検証された。
• このプロトコルは、シミュレートデータにおける推論行動が実データと一貫していることを示し、シミュレートされたベンチマークを用いた推論設定やモデル設計の指針としての有効性を支持した。
• BREAD は、モデル表現の選択が言語固有の影響を持つことを明らかにした。WebPPL では変数を統合することで性能が向上するが、Stan ではそうではない。これは、言語に応じたモデル工学の重要性を示している。