[論文レビュー] Using probabilistic programs as proposals

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|Jan 11, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用数 5

ひとこと要約

本稿では、マルコフ連鎖モンテカルロ推論の性能を向上させるために、事後分布に関するユーザの知識を確率的プログラミングとしてエンコードする「プロポーザル・プログラム」を導入する。ドメイン固有のヒューリスティクス（例：RANSAC）とニューラルネットワークを組み合わせることで、重要度サンプリングおよびメトロポリス・ハスティングス法における効率的かつ一貫性のあるプロポーザルを生成し、最適化をオフラインで確率的勾配降下法により行いつつ、漸近的一貫性を保持する。

ABSTRACT

Monte Carlo inference has asymptotic guarantees, but can be slow when using generic proposals. Handcrafted proposals that rely on user knowledge about the posterior distribution can be efficient, but are difficult to derive and implement. This paper proposes to let users express their posterior knowledge in the form of proposal programs, which are samplers written in probabilistic programming languages. One strategy for writing good proposal programs is to combine domain-specific heuristic algorithms with neural network models. The heuristics identify high probability regions, and the neural networks model the posterior uncertainty around the outputs of the algorithm. Proposal programs can be used as proposal distributions in importance sampling and Metropolis-Hastings samplers without sacrificing asymptotic consistency, and can be optimized offline using inference compilation. Support for optimizing and using proposal programs is easily implemented in a sampling-based probabilistic programming runtime. The paper illustrates the proposed technique with a proposal program that combines RANSAC and neural networks to accelerate inference in a Bayesian linear regression with outliers model.

研究の動機と目的

• マルコフ連鎖モンテカルロ推論における効率的プロポーザル分布の設計という課題に取り組み、精度とスケーラビリティの両立を図ること。
• 手作業でプロポーザル分布をコーディングするのではなく、実行可能な確率的プログラミングとして、ユーザが事後分布の構造に関するドメイン固有の知識を表現できるようにすること。
• 重要度サンプリングおよびメトロポリス・ハスティングス法におけるプロポーザル分布としてこれらのプログラムを使用するための形式的枠組みを提供し、漸近的一貫性を損なわないようにすること。
• 確率的勾配降下法を用いたオフライン最適化手順を開発し、プロポーザル・プログラムのパラメータを学習すること。
• 複雑なモデルにおける推論の高速化に、ヒューリスティクスアルゴリズムとニューラルネットワークを組み合わせたプロポーザル・プログラムの実用的有効性を示すこと。

提案手法

• プロポーザル・プログラムは、指定された出力選択肢と内部の確率的選択肢を持つ確率的プログラミングとして定義され、実行中にプロポーザル確率が推定される。
• この手法は、重要度サンプリングおよびメトロポリス・ハスティングス法におけるプロポーザル分布としての使用をサポートし、漸近的一貫性に関する理論的保証を有する。
• プロポーザル・プログラムのパラメータを学習するためのオフライン学習アルゴリズムとして、モンテカルロ変分的目的関数を用いた確率的勾配降下法が提案される。
• ランダム化されたヒューリスティクスアルゴリズム（例：RANSAC）を用いて事後分布の高確率領域を特定し、ニューラルネットワークを用いてその周辺の不確実性をモデル化する。
• サンプリングベースの確率的プログラミングランタイムで実装が可能であり、例としてJulia言語ベースの確率的言語Gen.jlのコード例が提供される。
• 既存の推論メカニズムを活用することで、ネストした推論や代替トレース分布を用いて、プロポーザル確率推定の精度を向上させることが可能となる。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミングを、正確なプロポーザル確率が得られない状況でも、漸近的一貫性を保ちながら、マルコフ連鎖モンテカルロ推論におけるプロポーザル分布として使用できるか。
• RQ2 ドメイン固有のヒューリスティクスアルゴリズムを、プロポーザル・プログラム内にニューラルネットワークと統合することで、サンプリング効率をどのように向上させられるか。
• RQ3 確率的勾配降下法を用いた、効果的なオフライン学習を可能にする最適化手順は何か。
• RQ4 シミュレーションおよび評価手順における内部再現回数が、プロポーザル・プログラムを用いたマルコフ連鎖モンテカルロ推論の効率にどのように影響するか。
• RQ5 下位の推論エンジンを変更せずに、サンプリングベースの確率的プログラミングランタイムに効率的に実装できるか。

主な発見

• プロポーザル・プログラムは、正確なプロポーザル確率ではなく推定値を用いても、重要度サンプリングおよびメトロポリス・ハスティングス法において漸近的一貫性を維持する。
• 提案された確率的勾配降下法によるオフライン最適化により、実用的に収束速度と精度の両方を向上させるプロポーザル・プログラムのパラメータ学習が可能になる。
• RANSACとニューラルネットワークを組み合わせたプロポーザル・プログラムは、外れ値を含むベイジアン線形回帰モデルにおける推論を顕著に高速化する。
• プロポーザル・プログラム内には、任意の内部確率的選択肢を許容でき、ターゲットモデルの構造とは独立した複雑で構造的なプロポーザル分布の作成が可能である。
• このフレームワークは拡張可能であり、ランタイムの最小限の変更で既存の確率的プログラミングシステムに統合可能である。
• 今後の課題として、ネストした推論や代替トレース分布を用いることで、さらなるプロポーザル確率推定の精度向上とサンプリング効率の向上が期待できる。