[논문 리뷰] High-Precision Regressors for Particle Physics

Fady Bishara, Ayan Paul외 1명|arXiv (Cornell University)|2023. 01. 01.

Distributed and Parallel Computing Systems인용 수 2

한 줄 요약

이 논문은 고에너지 물리학에서 몬테카를로 시뮬레이션을 가속화하기 위해 고정밀도 기계학습 회귀모형—특히 부스팅된 결정 트리(BDTs), 완전 연결 신경망(DNNs), 스킵 연결이 있는 DNNs(sk-DNNs)—을 개발한다. 물리학에 기반한 정규화, 대칭성 감소 및 아키텍처 최적화를 활용하여, 입력 도메인의 90%에서 상대 오차가 1% 미만이면서 1밀리초 미만의 추론 시간을 달성하였으며, 이는 원칙적 계산 대비 시뮬레이션 시간을 10³–10⁶× 감소시킨다.

ABSTRACT

Monte Carlo simulations of physics processes at particle colliders like the Large Hadron Collider at CERN take up a major fraction of the computational budget. For some simulations, a single data point takes seconds, minutes, or even hours to compute from first principles. Since the necessary number of data points per simulation is on the order of $10^9$–$10^{12}$, machine learning regressors can be used in place of physics simulators to significantly reduce this computational burden. However, this task requires high-precision regressors that can deliver data with relative errors of less than 1% or even 0.1% over the entire domain of the function. In this paper, we develop optimal training strategies and tune various machine learning regressors to satisfy the high-precision requirement. We leverage symmetry arguments from particle physics to optimize the performance of the regressors. Inspired by ResNets, we design a Deep Neural Network with skip connections that outperform fully connected Deep Neural Networks. We find that at lower dimensions, boosted decision trees far outperform neural networks while at higher dimensions neural networks perform significantly better. We show that these regressors can speed up simulations by a factor of $10^3$–$10^6$ over the first-principles computations currently used in Monte Carlo simulations. Additionally, using symmetry arguments derived from particle physics, we reduce the number of regressors necessary for each simulation by an order of magnitude. Our work can significantly reduce the training and storage burden of Monte Carlo simulations at current and future collider experiments.

연구 동기 및 목표

• 현재 데이터 포인트당 수초에서 수시간이 소요되는 입자물리학 몽테카를로 시뮬레이션의 계산 부담을 줄이기 위해.
• 입력 도메인의 90%에서 상대 오차가 1% 미만(최소 0.1%)이 되는 고정밀도 예측을 달성하는 기계학습 회귀모형을 개발하기 위해.
• 대칭성 감소 및 정규화와 같은 도메인 특화 물리 지식을 활용하여 모델 아키텍처, 훈련 전략 및 데이터 표현을 최적화하기 위해.
• 실시간 시뮬레이션 파이프라인에 통합 가능한 경량이고 이식 가능한 회귀모형(수 MB 이내 디스크 크기)을 만들기 위해.
• 고에너지 물리학 시뮬레이션의 탄소 발자국을 크게 줄이기 위해, 고비용의 원칙적 계산을 효율적인 기계학습 대체 모델로 대체하기 위해.

제안 방법

• 가속기에서의 산란 진폭에 대한 원칙적 계산에서 유도된 시뮬레이션된 고에너지 물리학 데이터를 기반으로 회귀모형을 훈련시키기 위해.
• 일반화 및 수렴을 향상시키기 위해 물리학에 기반한 정규화를 입력 특징에 적용하기 위해.
• 입자물리학의 대칭성 원리를 활용하여 필요한 회귀모형의 수를 한 차수 감소시키기 위해.
• ResNets를 영감으로 삼아 스킵 연결이 있는 깊은 신경망(sk-DNN)을 설계하여 훈련 역학과 성능을 향상시키기 위해.
• 2D, 4D, 8D 입력 공간에서 BDTs, DNNs, sk-DNNs의 성능을 비교하여 차원별 최적 아키텍처를 규명하기 위해.
• 학습률 스케줄링과 조기 정지 기법을 포함한 다단계 훈련 전략을 사용하여 고정밀도 회귀를 달성하기 위해.

실험 결과

연구 질문

• RQ1 3가지 차원에서 상대 오차 요구사항이 1% 미만인 고차원 입자물리학 진폭을 회귀할 때, BDTs, DNNs, sk-DNNs의 정확도와 효율성은 어떻게 비교되는가?
• RQ2 물리학에 기반한 정규화와 대칭성 감소는 정확도를 손상시키지 않은 채 필요한 회귀모형의 수를 크게 줄일 수 있는가?
• RQ3 몇 차원 이상에서 스킵 연결이 있는 DNNs가 고정밀도 회귀 과제에서 BDTs와 완전 연결 DNNs를 능가하는가?
• RQ4 4D 및 8D 함수에서 입력 도메인의 90%에서 <1% 오차를 달성하기 위해 필요한 최소한의 모델 복잡도는 무엇인가?
• RQ5 표준 하드웨어에서 훈련된 경량이고 이식 가능한 회귀모형은 실시간 몽테카를로 시뮬레이션에 배포될 수 있는가?

주요 결과

• 2D 및 4D 입력 차원에서 BDTs가 DNNs를 능가하며, 입력 도메인의 90%에서 1% 미만의 오차를 달성하지만, 8D에서는 정확도를 유지하지 못한다.
• 8D 문제에서는 sk-DNNs가 BDTs와 완전 연결 DNNs를 모두 능가하며, 훨씬 적은 파rameter로 입력 도메인의 90%에서 <1% 오차를 달성한다.
• sk-DNNs는 더 큰 DNNs와 비교해 유사하거나 더 뛰어난 성능을 보이며, 파rameter 수 증가만으로는 달성할 수 없는 아키텍처 개선의 효과를 입증한다.
• 물리학적 대칭성을 활용함으로써 필요한 회귀모형의 수가 한 차수 감소하여 저장 및 훈련 오버헤드가 감소한다.
• 모든 제안된 회귀모형은 데이터 포인트당 추론 시간이 10⁻⁴초 이하이며, 원칙적 계산 대비 10³–10⁶×의 속도 향상을 달성한다.
• 데이터 생성 및 모델 훈련을 포함한 전체 파이프라인이 단일 GPU를 장착한 표준 데스크톱 하드웨어에서 실행 가능하여 이식성과 낮은 에너지 비용을 확보한다.