[논문 리뷰] Multi-variable Integration with a Neural Network

D. Maître, Roi Santos-Mateos|arXiv (Cornell University)|2022. 11. 05.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 적분된 함수의 원시함수를 근사하기 위해 딥 네트워크를 훈련시켜 보조 변수에 대한 정확한 해석적 적분을 가능하게 함으로써 다변수 매개변수 적분을 가속화하는 신경망 기반 방법을 제안한다. 이 방법은 입자물리학 적용 분야에서 밀리부분 수준에서의 정확도를 달성하고 표준 수치 적분 대비 40–125배 빠른 성능을 보이며, 적분된 함수의 복잡도가 높아질수록 성능 향상이 이루어진다.

ABSTRACT

In this article we present a method for automatic integration of parametric integrals over the unit hypercube using a neural network. The method fits a neural network to the primitive of the integrand using a loss function designed to minimize the difference between multiple derivatives of the network and the function to be integrated. We apply this method to two example integrals resulting from the sector decomposition of a one-loop and two-loop scalar integrals. Our method can achieve per-mil and percent accuracy for these integrals over a range of invariant values. Once the neural network is fitted, the evaluation of the integral is between 40 and 125 times faster than the usual numerical integration method for our examples, and we expect the speed gain to increase with the complexity of the integrand.

연구 동기 및 목표

• 기존의 수치 적분을 대체하기 위해, 매개변수 적분을 신속하고 재사용 가능한 방식으로 평가할 수 있도록 도와주는 미분 가능 신경망 대체 모델을 개발한다.
• 보조 변수와 매개변수 양쪽 모두의 매끄러움을 고려하여 전체 s-x 공간에서 동시에 훈련함으로써 성능을 극대화한다.
• 독립적인 몬테카를로 적분을 반복 실행하지 않고도 다양한 매개변수 값에 대해 적분을 효율적으로 평가할 수 있도록 한다.
• 섹터 분해에서 유래한 실제 고에너지 물리학 적분 사례에서의 실현 가능성과 성능 향상을 입증한다.
• 복잡한 적분된 함수의 원시함수를 근사하기 위해 딥 네트워크를 훈련시키는 데 유도 기반 손실 함수의 잠재력을 탐색한다.

제안 방법

• 딥 네트워크는 적분된 함수 f의 원시함수 F를 근사하도록 훈련되며, 이때 매개변수 s와 보조 변수 x 모두를 입력으로 사용한다.
• 손실 함수는 네트워크의 x-변수에 대한 k차 미분과 적분된 함수 f 사이의 평균 제곱오차를 최소화하도록 설계된다.
• 적분 I(s)는 경계 평가 공식을 통해 정확하게 계산된다: I(s) = Σ_{x_i=0,1} (-1)^{k−∑x_i} N(s; x_1,…,x_k).
• 훈련 데이터는 균일한 매개변수 및 적분 변수 커버리지 확보를 위해 준 몬테카를로 또는 격자 기반 그리드를 사용하여 s-x 공간에서 샘플링된다.
• 다중 네트워크 복제본을 사용하여 불확실성 추정을 수행하며, 예측에서 분산이 편향보다 지배적인 경우 성능 향상이 이루어진다.
• 단일 훈련 실행 후 네트워크의 일반화 능력을 활용하여 다양한 s-값에 대해 신속한 평가가 가능해진다.

실험 결과

연구 질문

• RQ1 고차원 매개변수 적분된 함수의 원시함수를 충분한 정확도로 근사할 수 있는 신경망을 훈련시킬 수 있는가?
• RQ2 유도 기반 손실 훈련 방식이 보조 변수에 대한 정확한 해석적 적분을 가능하게 하면서도 정확도를 유지하는가?
• RQ3 이 방법이 매개변수 공간 전반에 걸친 반복 평가에서 표준 수치 적분 대비 속도와 확장성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 훈련 데이터 샘플링 전략의 선택(예: 준 몬테카를로 대비 격자 기반)이 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 이 프레임워크에서 네트워크 용량, 훈련 시간, 평가 속도 사이의 상충 관계는 어떠한가?

주요 결과

• 테스트 케이스에서 한 루프 적분의 경우 밀리부분 수준의 정확도를 달성하였고, 두 루프 적분의 경우 물리적 매개변수 값 범위에서 백분율 수준의 정확도를 확보하였다.
• 훈련된 신경망을 사용한 적분 평가는 표준 수치 적분 대비 테스트 케이스에서 40배에서 125배 빠른 성능을 보였다.
• 적분된 함수의 복잡도가 높아질수록 속도 향상이 더욱 두드러지므로, 고차원 또는 계산 비용이 큰 적분에 특히 유리하다.
• 네트워크 훈련에 약 10시간이 소요되지만, 한 루프에서 약 3억 6천만 건, 두 루프에서 약 600만 건의 평가를 수행함으로써 비용이 분산되어 대규모 응용에 비용 효율적이다.
• 다중 네트워크 복제본의 사용은 정확도 향상과 불확실성 추정을 모두 향상시키며, 예측에서 분산이 편향보다 지배적인 경우에 효과적이다.
• 이 방법은 독립적인 수치 적분을 반복 실행하지 않고도 다양한 매개변수 값에 대해 적분을 신속하고 재사용 가능한 방식으로 평가할 수 있도록 한다.