[논문 리뷰] Efficient Monte Carlo Integration Using Boosted Decision Trees and Generative Deep Neural Networks

J. Bendavid|arXiv (Cornell University)|2017. 06. 30.

Reservoir Engineering and Simulation Methods인용 수 84

한 줄 요약

이 논문은 비인수분해 가능한 적분의 정확도 향상을 위해 부스팅된 결정 트리와 생성적 심층 신경망을 활용한 ML 기반 몬테카를로 적분 방법을 제시하고, 단계적 변형과 VEGAS 및 FOAM과의 비교를 제시한다.

ABSTRACT

New machine learning based algorithms have been developed and tested for Monte Carlo integration based on generative Boosted Decision Trees and Deep Neural Networks. Both of these algorithms exhibit substantial improvements compared to existing algorithms for non-factorizable integrands in terms of the achievable integration precision for a given number of target function evaluations. Large scale Monte Carlo generation of complex collider physics processes with improved efficiency can be achieved by implementing these algorithms into commonly used matrix element Monte Carlo generators once their robustness is demonstrated and performance validated for the relevant classes of matrix elements.

연구 동기 및 목표

• 팩터라이제이션이 제한된 조밀한 충돌기 물리학의 위상공간에서 효율적인 다차원 적분을 고무한다.
• 두 가지 ML 기반 적분 프레임워크를 개발한다: 그래디언트 부스팅 결정 트리(BDTs)와 생성적 심층 신경망(DNNs).
• 전통적인 VEGAS/FOAM 방법에 비해 함수 평가당 적분 정밀도의 향상을 보여준다.
• 비음수 가중치 제약 및 단계적 적분 옵션을 포함한 실용적인 학습 및 샘플링 스킴을 제공한다.
• 차원에 따른 확장성을 벤치마크하기 위해 다차원 camel 함수에서 성능을 평가한다.

제안 방법

• f(x)를 비중첩된 초입방체(hyper-cubes)로 근사하고 적분 가중치를 학습하기 위해 그래디언트 부스팅 시리즈의 결정 트리를 구성한다.
• 효율적인 샘플링을 가능하게 하기 위해 비음수 가중치를 강제하고, e^{h(x)}≈f(x)로 수렴을 돕는 병렬 BDT h(x)를 도입한다.
• 로그 공간의 잔차를 반영하는 손실 함수 L_i를 정의하고, 학습 안정화 및 비음수 보장을 위한 회귀 손실 L_h를 정의한다.
• 트리를 반복적으로 학습하고 g(x)에서 샘플링하고 f(x)를 평가하여 적분 추정치를 개선하기 위해 학습 데이터를 보강한다.
• 깊은 트랜스포머 G가 사전분포 z를 x로 매핑하고 p_g(x)가 G의 야코비안과 관련되도록 하는 생성적 DNN 접근법을 개발하고 p_g와 p_f 사이의 KL 발산 D_KL로 최적화하며, 또한 f(x)의 보조 모델로 작용하는 회귀 모델 h(x)를 학습한다.
• 회귀 근사치를 g(x)에서 샘플링과 통합하는 단계적 접근법을 구현하여 효율성을 개선한다.
• Python/Numpy/TensorFlow/Keras, 네트워크 아키텍처, 활성화 함수, 학습 전략(배치 크기, 학습률 스케줄, 조기 종료) 등 실용적인 구현 세부사항을 제공한다.

실험 결과

연구 질문

• RQ1 비음수 가중치 제약을 더한 부스팅 결정 트리가 VEGAS/FOAM에 비해 비인수분해 적분의 몬테카를로 효율성을 향상시킬 수 있는가?
• RQ2 생성적 심층 신경망이 특히 고차원에서 BDT와 비교해 유사하거나 우수한 적분 성능을 제공하는가?
• RQ3 강건한 비음수 샘플링과 빠른 수렴을 보장하는 효과적인 손실 함수와 학습 스킴은 무엇인가?
• RQ4 유한한 함수 평가 수에서 단계적 적분(회귀 프록시나 생성 모델 사용)이 정확도에 어떤 영향을 미치는가?
• RQ5 이러한 ML 기반 방법들이 차원 증가에 따라 VEGAS 및 FOAM에 비해 차원 확장에 어떻게 영향을 받는가(4D, 9D camel 함수)?

주요 결과

• ML 기반 적분 방법(BDT 및 DNN)은 비인수분해 camel 함수에 대해 VEGAS보다 가중치 분산을 크게 감소시킨다.
• 4D에서 생성적 BDT와 생성적 DNN 모두 VEGAS에 비해 함수 평가당 약 4배의 정밀도 향상을 달성하며, 단계적 변형이 추가 이득을 제공한다.
• 9D에서는 DNN 기반 방법이 BDT보다 우수하며 차원 증가에 더 잘 스케일링하고 VEGAS 및 비단계적 대안들보다 더 낮은 가중치 분산을 달성한다.
• 회귀 보조 모델(e^{h(x)})을 이용한 단계적 적분은 주어진 평가 수에서 종종 높은 차원인 경우에 더 우수한 정밀도를 제공한다.
• 4D의 경우, 단계적 생성적 DNN은 추가 샘플 2백만개로 가중치 분산을 약 0.030으로 달성하여 VEGAS(2.0e6 샘플, 0.082) 및 FOAM(0.319)보다 현저히 우수하다.
• 9D에서 단계적 생성적 DNN은 0.081까지 달성하며(9D, 2e6 샘플) VEGAS(1.5e6 샘플, 19)와 비교해 현저히 작다.