[論文レビュー] Improvements to Inference Compilation for Probabilistic Programming in Large-Scale Scientific Simulators

Mario Lezcano Casado, Atılım Güneş Baydin+9 more|arXiv (Cornell University)|Dec 21, 2017

Particle physics theoretical and experimental studies参考文献 16被引用数 7

ひとこと要約

この論文では、高エネルギー物理学における大規模な科学シミュレータ（例：SHERPA）向けに、効率的な推論コンパイレーションを可能にするC++14確率的プログラミングライブラリCPProbを紹介する。最小限のコード修正でC++コードに埋め込み、学習済みの提案ネットワークを用いた重要度サンプリングをサポートすることで、実行トレース長を無限大から8.37に制限し、ヒッグスボソンの性質に関する正確な事後分布推定を、一般的な崩壊チャンネルで60–90%の精度で達成した。

ABSTRACT

We consider the problem of Bayesian inference in the family of probabilistic models implicitly defined by stochastic generative models of data. In scientific fields ranging from population biology to cosmology, low-level mechanistic components are composed to create complex generative models. These models lead to intractable likelihoods and are typically non-differentiable, which poses challenges for traditional approaches to inference. We extend previous work in "inference compilation", which combines universal probabilistic programming and deep learning methods, to large-scale scientific simulators, and introduce a C++ based probabilistic programming library called CPProb. We successfully use CPProb to interface with SHERPA, a large code-base used in particle physics. Here we describe the technical innovations realized and planned for this library.

研究の動機と目的

• 尤度が計算不能で微分不能な成分を含む大規模な科学的シミュレータにおけるベイズ推論を可能にすること。
• SHERPA や GEANT のような複雑でプロダクション用途のC++シミュレータに、推論コンパイレーションを拡張すること。
• 既存のC++シミュレーションコードベースに確率的プログラミングを統合するための最小限の干渉インターフェースを開発すること。
• 素粒子物理学で一般的な拒否サンプリングなどのアルゴリズムで見られる無限大の実行トレースの課題に対処すること。
• トレースの検査とデバッグツールを通じて、解釈可能で高精度な事後分布サンプリングを実現すること。

提案手法

• CPProbは普遍的な確率的プログラミングアプローチを採用し、既存のC++シミュレータを再実装せずに、乱数生成のリダイレクトとアノテーションの追加により推論を可能にする。
• ライブラリは3つのコア関数を導入する：確率的選択のためのsample、データに条件づけるためのobserve、潜在変数を報告するためのpredict。
• 実行トレースは、計算の構造的位置を符号化する静的に型付けされたアドレスによって追跡され、トレースの再構築とデバッグが可能になる。
• 推論は、サンプリング効率を向上させるために、提案分布を学習する深層ニューラルネットワークを用いた逐次的重要度サンプリング（SIS）によって実行される。
• 拒否サンプリングにおける無限長トレースを扱うために、新しいコードアノテーション方式を考案し、従来では計算不能であったケースの学習と推論を可能にした。
• 確率的モデルデバッグツールは、実行トレースをアドレスの連鎖グラフとして可視化し、シミュレータコード内での長大なトレースの原因を特定した。

実験結果

リサーチクエスチョン

• RQ1 高エネルギー物理学で使用される大規模でプロダクション用途のC++シミュレータに、推論コンパイレーションを効果的にスケーリングできるか？
• RQ2 最小限のコード変更で、複雑な既存のシミュレータに確率的プログラミングを統合できるか？
• RQ3 尤度フリー推論における素粒子物理学の文脈で、無限長トレースの課題をどのように軽減できるか？
• RQ4 学習済みの提案ネットワークは、高次元かつ微分不能なモデルにおける事後分布推定のサンプリング効率をどの程度向上できるか？
• RQ5 トレースの検査とデバッグツールは、複雑なシミュレータにおける推論の信頼性と解釈可能性を向上させられるか？

主な発見

• SHERPA τ崩壊シミュレータにおける平均実行トレース長は、新しい拒否サンプリングアノテーション方式を適用した後、無限大から8.37に短縮された。
• 記録された最長の実行トレースは42ステップにまで短縮され、推論ネットワークの学習が可能になった。
• ABCにおける基本的な類似度カーネルを用いた初期の事後分布推定では、最も頻度の高いτ崩壊チャンネルで60–90%の精度が達成された。
• 確率的モデルデバッグツールは、SHERPAコードベース内の特定の乱数生成呼び出しを、長大なトレースの原因として明確に同定した。
• アドレス連鎖グラフ表現により、確率的実行フローの明確な可視化が可能となり、モデルの検査と検証を支援した。
• 本研究は、100万行を超えるコードを有する実世界の高性能科学シミュレータに推論コンパイレーションを適用する可能性を示した。