[論文レビュー] Efficient Probabilistic Inference in the Quest for Physics Beyond the Standard Model

Atılım Güneş Baydin, L. Heinrich+13 more|arXiv (Cornell University)|Jul 20, 2018

Scientific Computing and Data Management被引用数 7

ひとこと要約

本論文は、一般化された推論エンジンが粒子物理学におけるSHERPAのような大規模な科学的シミュレータを確率的プログラムとして制御できる、クロスプラットフォームな確率的実行プロトコルを導入する。深層再帰ネットワークを用いた推論コンパイレーションにより、効率的で解釈可能なベイズ推論を可能にする。この手法は、計算コストの一部にとどまる範囲で、マルコフ連鎖モンテカルロに近い精度を達成する。複雑な検出器応答を伴うタウレプトン崩壊のシミュレーションで検証された。

ABSTRACT

We present a novel probabilistic programming framework that couples directly to existing large-scale simulators through a cross-platform probabilistic execution protocol, which allows general-purpose inference engines to record and control random number draws within simulators in a language-agnostic way. The execution of existing simulators as probabilistic programs enables highly interpretable posterior inference in the structured model defined by the simulator code base. We demonstrate the technique in particle physics, on a scientifically accurate simulation of the tau lepton decay, which is a key ingredient in establishing the properties of the Higgs boson. Inference efficiency is achieved via inference compilation where a deep recurrent neural network is trained to parameterize proposal distributions and control the stochastic simulator in a sequential importance sampling scheme, at a fraction of the computational cost of a Markov chain Monte Carlo baseline.

研究の動機と目的

• 粒子物理学で用いられる非微分可能で尤度が扱いにくい大規模な科学的シミュレータにおける確率的推論を可能にすること。
• ドメイン特化のシミュレータと一般化された確率的プログラミングの間のギャップを埋めるために、乱数生成を制御するためのクロスプラットフォームで言語に依存しないインターフェースを構築すること。
• 粒子崩壊や検出器応答をモデル化するような、複雑で高次元の潜在空間を持つシミュレータに対しても、モデルの再実装を必要とせずにベイズ推論をスケーリングすること。
• 深層ニューラルネットワークを用いた推論コンパイレーションにより、逐次重要度サンプリングのための提案分布を学習する、アモート化推論の可能性を実証すること。
• 標準模型を超える新しい物理の発見への道筋を示す、大規模な現実世界の物理シミュレーションにおいて、解釈可能な後方分布推論を可能にすること。

提案手法

• ランダムな数の抽出をインターセプトして管理する言語に依存しない方法で、FlatBuffersを用いたシリアル化により、推論エンジンがシミュレータを制御できるクロスプラットフォームな確率的実行プロトコルを設計する。
• 最小限のコード変更で既存のシミュレータ（例：SHERPA）を確率的プログラムとして統合し、元の機能を保持しながら確率的制御を公開する。
• 推論コンパイレーションを採用：長短期記憶（LSTM）ネットワークを訓練して逐次重要度サンプリングのための提案分布を予測し、棄却されるサンプル数を削減する。
• 推論エンジンは重要度重み付け（式3）を用いて、偏った提案分布を補正し、真の後方分布への収束を保証する。
• 検出器レベルの観測を処理するための3D-CNN–LSTMアーキテクチャを用い、文脈に適した提案分布を生成する。学習には、事前分布からの300万件のシミュレータトレースを用いる。
• 分散型トレーニングと推論をサポートし、20台のコンピュータノードを活用して、1億4300万パラメータのニューラルネットワークを40エポックにわたり学習可能にしている。

実験結果

リサーチクエスチョン

• RQ1 ソースコードを変更せずに、大規模でドメイン特化のシミュレータと相互作用できる汎用的な確率的プログラミングフレームワークを構築可能か？
• RQ2 深層ニューラルネットワークを用いた推論コンパイレーションが、尤度が扱いにくいシミュレータにおける後方分布推論の計算コストを顕著に削減可能か？
• RQ3 高次元で複雑な物理的モデルにおいて、マルコフ連鎖モンテカルロに匹敵する後方分布の精度を達成しながら、計算コストの一部にとどまるか？
• RQ4 学習された提案分布は、たとえば複雑な検出器シグネチャを示すレアなタウ崩壊のような、潜在空間におけるまれな事象や低確率事象をどれほどうまく処理できるか？
• RQ5 後方サンプルがシミュレータ内の特定可能なプロセスに対応する、解釈可能なモデルベースの機械学習を、このフレームワークが可能にするか？

主な発見

• SHERPAイベントジェネレータとGeant4検出器シミュレータが、最小限の変更で確率的プログラミングパイプラインに統合され、100万行のコードベースで完全なベイズ推論が可能になった。
• LSTMベースの提案ネットワークを用いた推論コンパイレーションにより、ベースラインのMCMC手法の10％未満の推論コストで、ほぼ同一の後方分布の精度を達成した。
• まれなタウ崩壊（τ → ντK⁻K⁻K⁺）のチャンネル22において、低確率の後方分布質量を正確に捉えた。トレーニング時の事前分布の拡張が、提案品質の向上に寄与した。
• 後方分布は非常に解釈可能で、推論されたパラメータとシミュレータ内の物理的プロセス（例：崩壊分岐比、検出器応答）との明確な対応関係が確認された。
• トレーニング済みの推論ニューラルネットワークにより、再トレーニングなしに新しい観測値に対して繰り返し高速な推論が可能となった。
• 約2万4千の異なる潜在アドレスが推論中に発生するような、複雑で高次元のモデルに対してもスケーラビリティを示し、大規模なスケールでの実現可能性を確認した。