[논문 리뷰] Efficient Probabilistic Inference in the Quest for Physics Beyond the Standard Model

Atılım Güneş Baydin, L. Heinrich외 13명|arXiv (Cornell University)|2018. 07. 20.

Scientific Computing and Data Management인용 수 7

한 줄 요약

이 논문은 SHERPA와 같은 입자물리학에서 사용되는 대규모 과학 시뮬레이터를 일반 목적의 추론 엔진이 확률적 프로그램으로 제어할 수 있도록 하는 크로스플랫폼 확률적 실행 프로토콜을 소개한다. 이는 깊이 순환 신경망을 활용한 추론 컴파일을 통해 효율적이고 해석 가능한 베이지안 추론을 가능하게 하며, 마르코프 체인 몬테카를로(Markov chain Monte Carlo) 수준의 정확도를 훨씬 낮은 계산 비용으로 달성한다. 이는 복잡한 검출기 반응을 포함한 타우 레프톤 붕괴 시뮬레이션에서 검증되었다.

ABSTRACT

We present a novel probabilistic programming framework that couples directly to existing large-scale simulators through a cross-platform probabilistic execution protocol, which allows general-purpose inference engines to record and control random number draws within simulators in a language-agnostic way. The execution of existing simulators as probabilistic programs enables highly interpretable posterior inference in the structured model defined by the simulator code base. We demonstrate the technique in particle physics, on a scientifically accurate simulation of the tau lepton decay, which is a key ingredient in establishing the properties of the Higgs boson. Inference efficiency is achieved via inference compilation where a deep recurrent neural network is trained to parameterize proposal distributions and control the stochastic simulator in a sequential importance sampling scheme, at a fraction of the computational cost of a Markov chain Monte Carlo baseline.

연구 동기 및 목표

• 입자물리학에서 사용되는 비미분 가능하고 우도 계산이 어려운 대규모 과학 시뮬레이터에서 일반적인 확률적 추론을 가능하게 하기 위해.
• 도메인 전용 시뮬레이터와 일반 목적의 확률적 프로그래밍 간 격차를 해소하기 위해, 난수 생성을 제어할 수 있는 크로스플랫폼이자 언어에 종속되지 않는 인터페이스를 구축하기 위해.
• 입자 붕괴 및 검출기 반응을 모델링하는 고차원 잠재 공간을 가진 시뮬레이터에 대해 모델 재구현 없이도 확률적 추론을 스케일링하기 위해.
• 깊이 신경망을 활용한 추론 컴파일을 통해 순차적 중요도 샘플링을 위한 제안 분포를 학습함으로써, 소모적 추론(amortized inference)의 가능성을 입증하기 위해.
• 표준 모델을 초월한 새로운 물리학의 발견을 위한 길을 열기 위해, 실제 물리 시뮬레이션에서 해석 가능한 후행 추론을 대규모로 실현하기 위해.

제안 방법

• 언어에 종속되지 않는 방식으로 랜덤 수치 추출을 가로채고 관리함으로써, 확률적 추론 엔진이 시뮬레이터를 제어할 수 있도록 크로스플랫폼 확률적 실행 프로토콜를 설계하였으며, 이는 직렬화를 위해 FlatBuffers를 사용한다.
• 기존 시뮬레이터(예: SHERPA)를 최소한의 코드 수정으로 감싸 확률적 프로그램으로 통합함으로써 원래의 功能를 유지하면서도 확률적 제어를 가능하게 한다.
• 추론 컴파일을 적용: 순차적 중요도 샘플링을 위한 제안 분포를 예측하기 위해 장기 순환 신경망(LSTM)을 학습시켰으며, 이로 인해 기각된 샘플 수가 감소한다.
• 추론 엔진은 중요도 가중치(식 3)를 사용하여 편향된 제안을 보정함으로써 진정한 후행 분포로 수렴하도록 보장한다.
• 검출기 수준의 관측치를 처리하고 맥락 인식 제안을 생성하기 위해 3D-CNN–LSTM 아키텍처를 사용하였으며, 사전 분포에서 유래한 300만 개의 시뮬레이터 트레이스를 기반으로 학습하였다.
• 분산 학습 및 추론을 지원하여, 20개의 컴퓨팅 노드에서 143M 파라미터를 가진 신경망을 40 에포크 동안 학습함으로써 확장 가능한 실행을 구현하였다.

실험 결과

연구 질문

• RQ1 소스 코드를 수정하지 않고도 대규모 도메인 전용 시뮬레이터와 통신할 수 있는 유일한 확률적 프로그래밍 프레임워크를 구축할 수 있는가?
• RQ2 깊이 신경망을 활용한 추론 컴파일이 우도 계산이 어려운 시뮬레이터에서 후행 추론의 계산 비용을 크게 줄일 수 있는가?
• RQ3 복잡하고 고차원적인 물리 모델에서 마르코프 체인 몬테카를로와 유사한 정확도를 달성하면서도 계산 비용을 극도로 낮출 수 있는가?
• RQ4 학습된 제안 분포가 희귀하거나 확률이 낮은 잠재 공간 내 사건(예: 복잡한 검출기 서명을 가진 희귀한 타우 붕괴)을 얼마나 잘 처리할 수 있는가?
• RQ5 후행 샘플이 시뮬레이터 내에서 식별 가능한 과정에 직접 대응하는, 해석 가능한 모델 기반 기계 학습을 프레임워크가 가능하게 할 수 있는가?

주요 결과

• SHERPA 이벤트 생성기와 Geant4 검출기 시뮬레이터가 최소한의 수정으로 확률적 프로그래밍 파이프라인에 성공적으로 통합되었으며, 100만 줄의 코드베이스에서 전체 베이지안 추론이 가능해졌다.
• LSTM 기반 제안 네트워크를 활용한 추론 컴파일로 인해 추론 비용이 기본 MCMC 방법의 10퍼센트 미만으로 감소하였으며, 후행 정확도는 거의 동일하게 유지되었다.
• 희귀한 타우 붕괴(τ → ντK⁻K⁻K⁺)의 채널 22에서 낮은 확률의 후행 질량을 정확히 포착하였다. 이 경우 사전 분포의 확장이 제안 품질을 향상시켰다.
• 후행 분포는 매우 해석 가능했으며, 예를 들어 붕괴 분지 비율과 검출기 반응과 같은 실제 물리적 과정과 명확한 대응 관계를 보였다.
• 학습된 추론 신경망을 통해 소모적 추론이 가능해졌으며, 단일 사전 학습된 모델을 통해 재학습 없이도 새로운 관측치에 대해 반복적으로 빠르게 추론이 가능했다.
• 이 방법은 추론 과정에서 약 24,000개의 고유한 잠재 주소를 경험하는 복잡하고 고차원적인 모델로도 스케일링 가능함을 입증하였으며, 대규모 적용 가능성은 확인되었다.