[論文レビュー] Scaffolding Simulations with Deep Learning for High-dimensional Deconvolution

Anders Andreassen, Patrick Komiske+4 more|arXiv (Cornell University)|May 10, 2021

Gaussian Processes and Bayesian Inference参考文献 16被引用数 20

ひとこと要約

OmniFold は、バイナリ分類器による尤度比推定を活用して、高次元の検出器歪みを実験データから除去する、深層学習に基づくアンビンデコンボリューション手法である。この手法は、固定ビン化を必要とせず、ノイズ、受容域、効率の影響を考慮しながらも、ビニングを行わず、科学的シミュレーションにおいて、最先端の精度と収束性を備えた高次元の真値再構築を可能にする Richardson-Lucy アルゴリズムの拡張である。

ABSTRACT

A common setting for scientific inference is the ability to sample from a high-fidelity forward model (simulation) without having an explicit probability density of the data. We propose a simulation-based maximum likelihood deconvolution approach in this setting called OmniFold. Deep learning enables this approach to be naturally unbinned and (variable-, and) high-dimensional. In contrast to model parameter estimation, the goal of deconvolution is to remove detector distortions in order to enable a variety of down-stream inference tasks. Our approach is the deep learning generalization of the common Richardson-Lucy approach that is also called Iterative Bayesian Unfolding in particle physics. We show how OmniFold can not only remove detector distortions, but it can also account for noise processes and acceptance effects.

研究の動機と目的

• 従来のビン化デコンボリューション手法（例：Richardson-Lucy）の限界、特に固定ビン化を必要とし、高次元または変動次元のデータに対しては困難である点を解決すること。
• 深層学習を用いて、アンビンデ、高次元データに直接作用する、シミュレーションベースの最尤デコンボリューションフレームワークを構築すること。
• ノイズプロセス、検出器受容域、効率しきい値といった現実的な実験的要因をデコンボリューションプロセスに統合すること。
• 応答関数の解析的モデルに依存せずに、検出器レベルのデータから真値分布を正確に再構築できることを実現すること。
• スケーラブルで微分可能かつ統計的に妥当な手法を、高エネルギー物理学やその他のデータ集約的分野における科学的推論に適用可能にする。

提案手法

• OmniFold は、深層ニューラルネットワークを用いた反復的尤度比推定により、検出器応答の逆関数を近似する。従来の行列逆行列計算に代わり、エンドツーエンド学習を採用する。
• デコンボリューションを、真値サンプルとデータレベルサンプルを区別する二値分類タスクの系列として定式化し、クラス条件付き密度をニューラルネットワークで推定する。
• 重み付き分類器を用いて、尤度比 $ p_{S|G} / p_{S|G}^{ ext{prior}} $ を推定し、反復的アンフォールディングプロセスを駆動する。
• ノイズの処理には、信号とバックグラウンドを区別する分類器を訓練する。受容域と効率の影響は、ダミー値 ($\emptyset$) と重み付きトレーニング例を用いて扱う。
• 二段階の反復的プロセスを用いる：ステップ I では、データとシミュレーションから真値分布を推定し、ステップ II では尤度比を用いて信号再構築を精緻化する。
• フレームワークは、ReLU活性化関数を備えた全結合ニューラルネットワークで実装され、Sigmoid出力が用いられ、Adam最適化と早期停止を用いてトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いることで、解析的応答関数モデルが存在しない状況において、アンビンデ、高次元デコンボリューションが可能になるか？
• RQ2 補助的特徴（例：ノイズ、受容域、効率）の組み込みが、デコンボリューションの精度と収束性に与える影響は何か？
• RQ3 尤度比推定に基づく微分可能で反復的なフレームワークが、高次元設定において、従来のビン化手法（例：Richardson-Lucy）を上回る性能を示せるか？
• RQ4 非一様な受容域や効率しきい値といった複雑な検出器効果を、この手法がどの程度処理できるか？
• RQ5 尤度比推定にニューラルネットワークを用いることで、統計的整合性と最尤性の性質が保持されるか？

主な発見

• OmniFold は、たった3回の反復でほぼ収束に達し、1次元のガウス例では複数回の実行において結果が安定的かつ一貫的である。
• 5次元のガウステストケースでは、全特徴（$X_D, X_S, Z_0, ..., Z_4$）を用いることで、平均絶対偏差が $3.1 \times 10^{-2}$ に低下し、標準偏差は $3.1 \times 10^{-2}$ にまで低下し、真値の30.00に近づいた。
• 特徴数が増加しても高い精度を維持するため、高次元入力空間に対して頑健であることが示された。
• ノイズ成分（$Z_i$）などの補助変数を組み込むことで、精度が顕著に向上し、平均の標準偏差が反復に伴い 8.4(5) から 3.1(2) に低下した。
• すべてのシナリオにおいて、アンフォールドされた分布の平均が真値の $2\sigma$ の範囲内に収束しており、バイアスが最小限に抑えられていることが裏付けられた。
• 深層集合（deep sets）を用いた先行研究の例から、このフレームワークは、置換不変性や可変長入力といった複雑なデータ型にも拡張可能であることが示された。