[論文レビュー] Hierarchical Neural Simulation-Based Inference Over Event Ensembles

L. Heinrich, Siddharth Mishra-Sharma+2 more|arXiv (Cornell University)|Jun 21, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、尤度が計算不能なモデルにおけるパrameter推定を改善するために、データセット全体の学習を活用する階層的ニューラルシミュレーションベースの推論フレームワークを提案する。深層集合とノーマライジングフローを用いて、イベント集合からグローバルパラメータとローカルパラメータを同時に推定する。MCMCに比べて高速かつ一貫性のある推論を達成し、ストリーミング環境でもリアルタイムでの更新が可能である。

ABSTRACT

When analyzing real-world data it is common to work with event ensembles, which comprise sets of observations that collectively constrain the parameters of an underlying model of interest. Such models often have a hierarchical structure, where "local" parameters impact individual events and "global" parameters influence the entire dataset. We introduce practical approaches for frequentist and Bayesian dataset-wide probabilistic inference in cases where the likelihood is intractable, but simulations can be realized via a hierarchical forward model. We construct neural estimators for the likelihood(-ratio) or posterior and show that explicitly accounting for the model's hierarchical structure can lead to significantly tighter parameter constraints. We ground our discussion using case studies from the physical sciences, focusing on examples from particle physics and cosmology.

研究の動機と目的

• 既存のシミュレーションベースの推論手法が個々のイベントを独立に扱うという限界に対処し、イベント集合が持つ階層的構造を無視している点を改善すること。
• 尤度が計算不能であるが前方シミュレーションが可能な暗黙的モデルにおけるデータセット全体の統合的推論フレームワークを構築すること。
• グローバルパラメータ（全イベントに影響を与える）とローカルパラメータ（個々のイベントに影響を与える）の間の相互作用を明示的にモデル化することで、パラメータ制約の精度を向上させること。
• 再トレーニングを全データセットに対して行わずに、新しいデータの到着に伴い効率的かつアモアタイズド（ amortized ）な推論を可能にし、リアルタイムでの更新を実現すること。
• 素粒子物理学および天体物理学の実世界の科学分野において、ベイズ的および頻度主義的推論の両方の枠組みで、提案手法の有効性を実証すること。

提案手法

• イベント集合の置換同値性を保つ表現をモデル化するため、深層集合アーキテクチャを用い、可変サイズのデータセットにおける統合的推論を可能にする。
• グローバルおよびローカルパラメータのアモアタイズド事後分布推定器としてノーマライジングフローを採用し、全データセットに条件付けられた共有埋め込みを用いる。
• 頻度主義的設定では階層的尤度比推定器を適用し、グローバルパラメータを摂動させたシミュレーテッドデータセット上でバイナリ分類により訓練する。
• セット全体の特徴とイベントごとのエンコーダーを統合：前者はイベントレベルの特徴を集約してグローバルパラメータを推定し、後者は個々のイベントデータを符号化する。
• エンドツーエンドモデルを訓練するため、グローバルおよびローカルノーマライジングフローからの対数尤度を組み合わせた共同最適化目的関数を用いる。
• データセットのサイズに応じた可変性をサポートするため、グローバルデコーダーをイベント数に条件付け、さまざまなサイズのデータセットへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 イベント集合の階層的構造を尊重するデータセット全体の推論は、個別イベントごとの推論に比べて、よりきめ細かく正確なパラメータ制約を達成できるか？
• RQ2 可変サイズのイベント集合を扱うにあたり、統計的効率性とスケーラビリティを維持しながら、シミュレーションベースの推論をどのように拡張できるか？
• RQ3 尤度が計算不能な状況において、神経推定器による尤度比や事後分布の推定が、従来のMCMC手法に比べて、速度および精度の面でどれほど優れているか？
• RQ4 本手法は、新しいイベントが到着するたびに逐次的に事後分布を更新するストリーミングデータ環境でもリアルタイム推論をサポートできるか？
• RQ5 素粒子加速器のデータや重力レンズ効果といった、実世界の物理科学的問題において、既存のSBI技術に比べて、本手法はどの程度優れた性能を示すか？

主な発見

• 提案された階層的ニューラルシミュレーションベースの推論フレームワークは、アモアタイズド学習とエンドツーエンド訓練のおかげで、尤度が計算可能であってもMCMCに比べて著しく高速な推論を達成する。
• グローバルパラメータとローカルパラメータの階層的構造を明示的にモデル化することで、イベントを独立に扱う手法に比べ、よりきつい事後分布の制約と向上した推論精度が得られる。
• ストリーミングモードでもリアルタイム推論をサポートし、全データセットを再処理することなく、新しいデータの到着に伴う効率的な事後分布の更新が可能である。
• 素粒子物理学の事例研究では、深層集合を用いて訓練された頻度主義的尤度比推定器が、最小限のキャリブレーションで高い統計的パワーを達成し、標準的なプロファイル尤度手法を上回った。
• 強力な重力レンズ効果を扱う天体物理学の事例研究では、ノーマライジングフローに基づく事後分布推定器が、ノイズが多く複雑な画像データでさえも、グローバルパラメータ（α, β）およびローカル画像パラメータ（θ_E, Δx, Δy, q）を高い忠実度で正確に回復した。
• 訓練時に異なるサイズのエントリーセットを用い、ホールドアウトテストセットでも一貫した性能を示すことで、本フレームワークがさまざまなサイズのデータセットに一般化できることを実証した。