[論文レビュー] High-Precision Regressors for Particle Physics

Fady Bishara, Ayan Paul+1 more|arXiv (Cornell University)|Jan 1, 2023

Distributed and Parallel Computing Systems被引用数 2

ひとこと要約

この論文では、加速器での散乱振幅の第一原理計算に基づくモンテカルロシミュレーションを高速化する高精度な機械学習回帰器——特にブーストされた決定木（BDTs）、全結合型深層ニューラルネットワーク（DNNs）、スキップ接続付きDNN（sk-DNNs）——を開発した。物理的洞察に基づく正規化、対称性の低減、アーキテクチャ最適化を活用することで、入力領域の90％以上で相対誤差1％未満、推論時間が1ミリ秒未塔を達成し、第一原理計算と比較して計算時間を10³–10⁶倍短縮した。

ABSTRACT

Monte Carlo simulations of physics processes at particle colliders like the Large Hadron Collider at CERN take up a major fraction of the computational budget. For some simulations, a single data point takes seconds, minutes, or even hours to compute from first principles. Since the necessary number of data points per simulation is on the order of $10^9$–$10^{12}$, machine learning regressors can be used in place of physics simulators to significantly reduce this computational burden. However, this task requires high-precision regressors that can deliver data with relative errors of less than 1% or even 0.1% over the entire domain of the function. In this paper, we develop optimal training strategies and tune various machine learning regressors to satisfy the high-precision requirement. We leverage symmetry arguments from particle physics to optimize the performance of the regressors. Inspired by ResNets, we design a Deep Neural Network with skip connections that outperform fully connected Deep Neural Networks. We find that at lower dimensions, boosted decision trees far outperform neural networks while at higher dimensions neural networks perform significantly better. We show that these regressors can speed up simulations by a factor of $10^3$–$10^6$ over the first-principles computations currently used in Monte Carlo simulations. Additionally, using symmetry arguments derived from particle physics, we reduce the number of regressors necessary for each simulation by an order of magnitude. Our work can significantly reduce the training and storage burden of Monte Carlo simulations at current and future collider experiments.

研究の動機と目的

• モンテカルロシミュレーションの計算負荷を軽減すること。現在、1データポイントあたり数秒から数時間の計算時間がかかっている。
• 入力領域の90％以上で相対誤差1％未塔（最良で0.1％）を達成する機械学習回帰器を開発すること。
• 対称性の低減や正規化といった分野特有の物理的知識を活用して、モデルアーキテクチャ、学習戦略、データ表現の最適化を行うこと。
• リアルタイムのシミュレーションパイプラインに統合可能な、軽量でポータブルな回帰器（数MBのディスク容量）を作成すること。
• 高エネルギー物理学のシミュレーションの炭素足跡を大幅に削減すること。高価な第一原理計算に代わる効率的なML代替モデルを導入することで実現。

提案手法

• 加速器での散乱振幅の第一原理計算に基づくシミュレーションデータを用いて回帰器を学習する。
• 一般化性と収束性の向上を目的に、物理的インスピレーションに基づく入力特徴の正規化を適用する。
• 素粒子物理学からの対称性の議論を応用し、必要な回帰器の数を10倍低減する。
• ResNetsをインspiredしたスキップ接続付き深層ニューラルネットワーク（sk-DNN）を設計し、学習ダイナミクスと性能を向上させる。
• 2次元、4次元、8次元の入力空間において、BDTs、DNNs、sk-DNNsの性能を比較し、次元に応じた最適なアーキテクチャを同定する。
• 学習率スケジューリングと早期停止を組み合わせた段階的学習戦略を採用し、高精度な回帰を達成する。

実験結果

リサーチクエスチョン

• RQ1 2次元、4次元、8次元の高次元粒子物理学振幅を回帰する際、BDTs、DNNs、sk-DNNsは、1％未塔の誤差要件を満たす上で、精度と効率の点でどのように比較されるか？
• RQ2 物理的インスパイラションに基づく正規化と対称性の低減は、予測精度を損なわせることなく、必要な回帰器の数を顕著に削減できるか？
• RQ3 どの次元で、スキップ接続付きDNNがBDTs や全結合DNNを上回る性能を発揮するか？
• RQ4 4次元および8次元関数において、入力領域の90％以上で1％未塔の誤差を達成するための最小限のモデル複雑度は何か？
• RQ5 標準的なハードウェアで学習可能な、軽量でポータブルな回帰器は、リアルタイムのモンテカルロシミュレーションにデプロイ可能か？

主な発見

• 2次元および4次元入力次元ではBDTsがDNNsを上回り、入力領域の90％以上で1％未塔の誤差を達成したが、8次元では精度を維持できなかった。
• 8次元問題では、sk-DNNsがBDTsおよび全結合DNNsを上回り、パrameter数を著しく削減しながらも、入力領域の90％以上で1％未塔の誤差を達成した。
• sk-DNNsは、より大きなDNNsと同等またはより優れた性能を発揮し、パrameter数の増加だけではなく、アーキテクチャの改善が性能向上に寄与することを示した。
• 物理的対称性の利用により、必要な回帰器の数が10倍に低減され、ストレージおよび学習のオーバーヘッドが削減された。
• すべての提案された回帰器は、1データポイントあたり10⁻⁴秒未塔の推論時間を達成し、第一原理シミュレーションと比較して10³–10⁶倍の高速化を実現した。
• データ生成およびモデル学習を含むパイプライン全体が、1枚のGPUを搭載した標準的なデスクトップハードウェアで実行可能であり、ポータビリティと低エネルギー消費を確保した。