[논문 리뷰] Improvements to Inference Compilation for Probabilistic Programming in Large-Scale Scientific Simulators

Mario Lezcano Casado, Atılım Güneş Baydin외 9명|arXiv (Cornell University)|2017. 12. 21.

Particle physics theoretical and experimental studies참고 문헌 16인용 수 7

한 줄 요약

이 논문은 고에너지 물리학에서 사용되는 대규모 과학 시뮬레이터인 SHERPA와 같은 시뮬레이터에 대해 효율적인 추론 컴파일을 가능하게 하는 C++14 확률 프로그래밍 라이브러리 CPProb를 소개한다. 최소한의 수정으로 C++ 코드를 인스트루멘터링함으로써 CPProb는 학습된 제안 네트워크를 사용한 중요도 표본 추출을 지원하며, 평균 실행 트레이스 길이를 무한대에서 8.37로 줄여 힉스 보손 성질에 대한 정확한 사후 추론을 가능하게 한다. 이는 일반적인 붕괴 채널에서 60–90%의 정확도를 달성한다.

ABSTRACT

We consider the problem of Bayesian inference in the family of probabilistic models implicitly defined by stochastic generative models of data. In scientific fields ranging from population biology to cosmology, low-level mechanistic components are composed to create complex generative models. These models lead to intractable likelihoods and are typically non-differentiable, which poses challenges for traditional approaches to inference. We extend previous work in "inference compilation", which combines universal probabilistic programming and deep learning methods, to large-scale scientific simulators, and introduce a C++ based probabilistic programming library called CPProb. We successfully use CPProb to interface with SHERPA, a large code-base used in particle physics. Here we describe the technical innovations realized and planned for this library.

연구 동기 및 목표

• 비가역적 우도와 미분 불가능한 구성 요소를 가진 대규모 과학 시뮬레이터에서 베이지안 추론을 가능하게 하기 위해.
• SHERPA 및 GEANT과 같은 복잡하고 프로덕션 수준의 C++ 시뮬레이터에 추론 컴파일을 확장하기 위해.
• 기존 C++ 시뮬레이션 코드베이스에 확률 프로그래밍을 통합하기 위한 최소한의 간섭 인터페이스를 개발하기 위해.
• 입자 물리학에서 흔히 사용되는 거부 표본 추출과 같은 알고리즘에서 발생하는 무한대 길이의 실행 트레이스 문제를 해결하기 위해.
• 트레이스 검사 및 디버깅 도구를 통해 해석 가능하고 고정밀도의 사후 표본 추출을 지원하기 위해.

제안 방법

• CPProb는 보편적인 확률 프로그래밍 접근 방식을 사용하여 기존 C++ 시뮬레이터를 다시 작성하지 않고도 추론이 가능하게 하며, 난수 생성을 리디렉션하고 애너테이션을 추가한다.
• 라이브러리는 세 가지 핵심 함수를 도입한다: sample(스토케스틱 선택을 위한), observe(데이터에 조건을 붙이기 위한), predict(잠재 변수를 보고하기 위한).
• 실행 트레이스는 계산의 구조적 위치를 인코딩한 정적 타입의 주소를 통해 추적되며, 트레이스 재구성 및 디버깅을 가능하게 한다.
• 추론은 깊이 신경망이 제안 분포를 학습하여 표본 추출 효율성을 향상시키는 순차적 중요도 표본 추출(SIS)을 사용하여 수행된다.
• 거부 표본 추출에서 발생하는 무한 길이 트레이스를 다루기 위해 새로운 코드 애너테이션 체계가 개발되었으며, 이는 이전에는 해결 불가능했던 경우에도 학습 및 추론을 가능하게 한다.
• 확률 모델 디버깅 도구는 주소 연속성 그래프로 실행 트레이스를 시각화하여 시뮬레이터 코드 내에서 긴 트레이스의 원인을 특정한다.

실험 결과

연구 질문

• RQ1 고에너지 물리학에서 사용되는 대규모 프로덕션 수준의 C++ 시뮬레이터에 대해 추론 컴파일을 효과적으로 확장할 수 있는가?
• RQ2 최소한의 코드 수정으로 복잡한 기존 시뮬레이터에 확률 프로그래밍을 통합할 수 있는가?
• RQ3 입자 물리학의 우도 없는 추론에서 발생하는 무한 길이의 실행 트레이스 문제를 완화할 수 있는 기법은 무엇인가?
• RQ4 학습된 제안 네트워크는 고차원적이고 비미분 가능한 모델에서 사후 추론의 표본 추출 효율성을 얼마나 향상시키는가?
• RQ5 트레이스 검사 및 디버깅 도구는 복잡한 시뮬레이터에서 추론의 신뢰성과 해석 가능성에 기여하는가?

주요 결과

• SHERPA τ 붕괴 시뮬레이터에서 새로운 거부 표본 추출 애너테이션 체계 적용 후 평균 실행 트레이스 길이가 무한대에서 8.37로 감소하였다.
• 기록된 가장 긴 실행 트레이스 길이가 42단계로 줄어들어 추론 네트워크 학습이 가능해졌다.
• 기본 유사도 커널을 사용한 ABC에서 가장 흔한 τ 붕괴 채널에 대해 사후 추론의 정확도가 60–90%에 달했다.
• 확률 모델 디버깅 도구는 긴 트레이스의 원인을 성공적으로 특정하여 SHERPA 코드베이스 내 특정 난수 생성 호출을 특정했다.
• 주소 연속성 그래프 표현 방식은 확률적 실행 흐름을 명확하게 시각화하여 모델 검사 및 검증을 지원했다.
• 본 연구는 100만 줄이 넘는 코드를 가진 실제 고성능 과학 시뮬레이터에 추론 컴파일을 적용하는 것이 가능함을 입증했다.