[論文レビュー] C3: Lightweight Incrementalized MCMC for Probabilistic Programs using Continuations and Callsite Caching

Daniel Ritchie, Andreas Stuhlmüller+1 more|arXiv (Cornell University)|Sep 7, 2015

Bayesian Modeling and Causal Inference参考文献 9被引用数 8

ひとこと要約

C3 は、継続渡しスタイル（CPS）とコールサイトキャッシュを組み合わせることで、メトロポリス・ハスティングス推論を高速化する軽量なソース・ツー・ソース変換を提供する。これにより、提案のインクリメンタルな再実行が可能になり、提案実行時間は20–100倍短縮され、一部のモデルでは定数時間更新が達成される。複雑な手続き的モデリングタスクではほぼ10倍の高速化が達成される。

ABSTRACT

Lightweight, source-to-source transformation approaches to implementing MCMC for probabilistic programming languages are popular for their simplicity, support of existing deterministic code, and ability to execute on existing fast runtimes. However, they are also slow, requiring a complete re-execution of the program on every Metropolis Hastings proposal. We present a new extension to the lightweight approach, C3, which enables efficient, incrementalized re-execution of MH proposals. C3 is based on two core ideas: transforming probabilistic programs into continuation passing style (CPS), and caching the results of function calls. We show that on several common models, C3 reduces proposal runtime by 20-100x, in some cases reducing runtime complexity from linear in model size to constant. We also demonstrate nearly an order of magnitude speedup on a complex inverse procedural modeling application.

研究の動機と目的

• 既存の軽量なMCMCフレームワークが、メトロポリス・ハスティングスの各提案に対してプログラム全体を再実行するという非効率性を解消すること。
• 高速な決定的実行環境や既存のライブラリとの互換性を損なわせることなく、提案のインクリメンタルな再実行を可能にすること。
• 乱数選択の変更後に効率的な部分的再実行が可能な、効率的なソース・ツー・ソース変換を開発すること。
• 一般的な確率的モデルおよび逆手続き的モデリングのような複雑な実世界の応用において顕著な性能向上を達成すること。
• 既存の決定的言語ツールチェインとシームレスに統合できる実用的でオープンソースのWebPPL拡張を提供すること。

提案手法

• 再実行を呼び出しチェーンの任意の点から開始できるように、確率的プログラムを継続渡しスタイル（CPS）に変換する。
• 入力と出力が提案間で変化しない純粋関数呼び出しを回避するため、コールサイトキャッシュを実装する。
• 乱数選択の値をデータベースに保存する（軽量MHと同様）が、CPSとキャッシュにより再実行を影響を受けるサブトレースに限定するハイブリッドアプローチを採用する。
• 変更された乱数選択に依存するプログラムトレースの部分のみを再実行することに限定し、マークフ・ブランケット構造を暗黙的に活用する。
• 完全なプログラム変換のオーバーヘッドを避けるために、CPS変換とキャッシュを乱数選択ポイントでのみ選択的に適用する。
• WebPPL確率的プログラミング言語内に、ソース・ツー・ソースコンパイラ・パスとしてシステムを統合する。

実験結果

リサーチクエスチョン

• RQ1 カスタムインタプリタを必要とせず、軽量なソース・ツー・ソース変換によって、インクリメンタルなMCMC再実行を達成できるか？
• RQ2 継続渡しスタイルとコールサイトキャッシュの組み合わせが、確率的プログラムにおける提案再実行時間の短縮にどの程度寄与するか？
• RQ3 C3アプローチにより、従来の線形時間再実行を要していたモデルで定数時間更新が可能になるか？
• RQ4 逆手続き的モデリングのような複雑な実世界の応用において、C3はベースライン手法と比べてどの程度の性能を発揮するか？
• RQ5 C3の性能向上は、既存の決定的言語実行環境やライブラリとの互換性を維持したまま達成できるか？

主な発見

• C3 は、HMM、トピックモデル、ガウス混合モデル、階層線形回帰などの一般的なモデルにおいて、提案実行時間を20–100倍短縮した。
• 一部のモデルでは、提案更新の漸近的計算量をモデルサイズに比例する線形時間から定数時間にまで削減した。
• コンピュータグラフィックス分野の複雑な逆手続き的モデリングアプリケーションでは、C3 がほぼ10倍の高速化を達成した。
• CPSとコールサイトキャッシュの組み合わせにより、影響を受けていない関数呼び出しをスキップし、関連する継続からのみアンワインディングが行われるため、再実行が早期に終了する。
• コールサイトキャッシュ単体でも、重複する関数呼び出しを回避することで再実行のオーバーヘッドが低減されるが、CPSにより中間ポイントからの的確な再開が可能になる。
• C3 システムはWebPPLのオープンソース拡張として実装されており、V8のような既存の高性能実行環境との実用的な統合を示している。