[논문 리뷰] Variational Inference as an alternative to MCMC for parameter estimation and model selection

Anirudh Jain, P. K. Srijith외 1명|arXiv (Cornell University)|2018. 03. 17.

Gamma-ray bursts and supernovae참고 문헌 61인용 수 3

한 줄 요약

이 논문은 천체물리학에서 베이지안 매개변수 추정 및 모델 선택을 위한 마르코프 체인 몬테카를로(MCMC)보다 빠른 대안으로 변분 추론(VI)을 제안한다. Kullback-Leibler 발산을 사용하여 알려진 분포 가족으로부터 진짜 사후분포를 근사함으로써 사후분포 추론을 최적화 문제로 재구성함으로써, VI는 정확도를 희생시키지 않은 채 빠른 속도 향상을 이룬다. 이는 네 가지 천체물리 문제에서 입증되었다.

ABSTRACT

Most applications of Bayesian Inference for parameter estimation and model selection in astrophysics involve the use of Markov Chain Monte Carlo (MCMC) techniques. In this work, we introduce Variational Inference as an alternative to solve these problems, and compare how the results hold up to MCMC methods. Variational Inference converts the inference problem into an optimization problem by approximating the posterior from a known family of distributions and using Kullback-Leibler divergence to measure closeness. Variational Inference takes advantage of fast optimization techniques, which make it ideal to deal with large datasets and also makes it trivial to parallelize. As a proof of principle, we apply Variational Inference to four different problems in astrophysics, where MCMC techniques were previously used. These include measuring exoplanet orbital parameters from radial velocity data, tests of periodicities in measurements of Newton's constant G, assessing the significance of a turnover in the spectral lag data of GRB 160625B , and estimating the mass of a galaxy cluster using weak gravitational lensing. We find that Variational Inference is much faster than MCMC for these problems.

연구 동기 및 목표

• 천체물리학에서 베이지안 추론을 위한 MCMC의 확장 가능한 대안으로 변분 추론(VI)을 평가하는 것.
• 매개변수 추정 및 모델 선택에서 대규모 데이터셋을 처리할 때 MCMC의 계산적 한계를 해결하는 것.
• 이전에 MCMC로 해결된 다양한 천체물리 문제들에서 VI의 실현 가능성과 정확도를 입증하는 것.
• 실세계 천체물리적 응용에서 VI와 MCMC 간의 추론 성능 및 수렴 속도를 비교하는 것.

제안 방법

• 진짜 사후분포와 근사 사후분포 간의 Kullback-Leibler 발산을 최소화함으로써 베이지안 사후분포 추론을 최적화 문제로 재구성한다.
• 진짜 사후분포를 근사하기 위해 알려진 분포 가족을 사용함으로써 효율적인 계산을 가능하게 한다.
• 빠른 최적화 기법을 활용하여 수렴 속도를 가속화하며, 특히 대규모 데이터셋에 매우 유리하다.
• 자동 미분과 확장 가능한 최적화 알고리즘을 활용하여 계산 자원 간의 병렬 처리를 가능하게 한다.
• 변분 프레임워크를 네 가지 다른 천체물리 추론 문제에 적용한다: 반직경 속도 기반 외계행성 탐지, G 측정치의 주기성 테스트, GRB 160625B의 스펙트럼 지연 분석, 약한 렌즈 질량 추정.
• 정확도와 일관성을 보장하기 위해 결과를 기존의 MCMC 기준과 비교 검증한다.

실험 결과

연구 질문

• RQ1 변분 추론(VI)은 천체물리 매개변수 추정 문제에서 MCMC와 비교해 정확한 매개변수 추정을 도출할 수 있는가?
• RQ2 다양한 천체물리 데이터셋에서 VI의 계산 효율성은 MCMC와 어떻게 비교되는가?
• RQ3 주기성 또는 스펙트럼 전환점을 탐지하는 모델 선택 작업에서 VI는 신뢰성 유지가 가능한가?
• RQ4 복잡한 모델에서 통계적 정밀도를 유지하면서 대규모 데이터셋에 효과적으로 스케일업할 수 있는가?
• RQ5 실제 천체물리 응용에서 MCMC를 VI로 대체할 경우 속도와 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 테스트한 네 가지 천체물리 문제 전반에서 변분 추론(VI)이 MCMC보다 훨씬 더 빠른 수렴 속도를 보였다.
• VI가 생성한 근사 사후분포는 MCMC 결과와 일치하여 매개변수 추정의 높은 정확도를 나타낸다.
• VI는 강력한 확장성을 보이며, MCMC가 계산적으로 비현실적이게 되는 대규모 데이터셋에 적합하다.
• 최적화 기반 프레임워크 덕분에 병렬 처리가 매우 간단해져 계산 효율성이 향상된다.
• 외계행성 궤도 매개변수, 뉴턴 상수의 주기성, GRB 스펙트럼 지연 전환점, 은하단 질량 전반에서 VI는 MCMC와 비교해 유사한 결과를 훨씬 더 짧은 시간 내에 도출했다.
• 근사에 Kullback-Leibler 발산을 사용함으로써 안정적이고 다루기 쉬운 최적화 목표 함수를 확보하여 신뢰할 수 있는 추론이 가능해졌다.