[논문 리뷰] Likelihood-free MCMC with Amortized Approximate Ratio Estimators

Joeri Hermans, Volodimir Begy외 1명|arXiv (Cornell University)|2019. 03. 10.

Gaussian Processes and Bayesian Inference참고 문헌 76인용 수 27

한 줄 요약

이 논문은 가능도가 비계산 가능할 때 효율적인 사후 추론을 가능하게 하기 위해, 가능도-증거 비율을 근사하는 암시적 신경망을 사용하는 가능도 자유 MCMC 방법을 제안한다. 가능도 평가 없이 한 번만 훈련한 비율 추정기 모델을 MCMC 반복 과정 전반에 걸쳐 재사용함으로써, 수치적 안정성과 근사 품질 평가 도구를 향상시키며 정확한 사후 추론을 달성한다.

ABSTRACT

Posterior inference with an intractable likelihood is becoming an increasingly common task in scientific domains which rely on sophisticated computer simulations. Typically, these forward models do not admit tractable densities forcing practitioners to make use of approximations. This work introduces a novel approach to address the intractability of the likelihood and the marginal model. We achieve this by learning a flexible amortized estimator which approximates the likelihood-to-evidence ratio. We demonstrate that the learned ratio estimator can be embedded in MCMC samplers to approximate likelihood-ratios between consecutive states in the Markov chain, allowing us to draw samples from the intractable posterior. Techniques are presented to improve the numerical stability and to measure the quality of an approximation. The accuracy of our approach is demonstrated on a variety of benchmarks against well-established techniques. Scientific applications in physics show its applicability.

연구 동기 및 목표

• 가능도와 주변 모델이 모두 비계산 가능한 과학 모델에서 사후 추론의 과제를 해결한다.
• 명시적인 가능도 평가가 필요 없이 가능도-증거 비율을 근사하는 방법을 개발한다.
• 다중 매개변수 제안에 걸쳐 비율 추정을 암시적으로 수행함으로써 효율적인 MCMC 샘플링을 가능하게 한다.
• 가능도 자유 설정에서 근사 품질 평가를 위한 수치적 안정성 향상 및 진단 도구를 제공한다.
• 물리학 및 복잡한 시뮬레이션에서 실제 과학 문제에 적용 가능함을 보여준다.

제안 방법

• 전방 모델에서 시뮬레이션된 데이터를 사용해 $ r(\mathbf{x}|\bm{\theta}) = \frac{p(\mathbf{x}|\bm{\theta})}{p(\mathbf{x})} $의 가능도-증거 비율을 추정하는 신경망을 훈련한다.
• 학습된 비율 추정기를 사용해 메트로폴리스-하스팅스 및 하미르톤 몬테카를로 샘플러에서 수용 비율을 계산함으로써 직접 가능도 평가를 피한다.
• 매개변수 쌍 $ (\bm{\theta}, \mathbf{x}) $로 구성된 데이터셋에 대해 한 번만 신경망을 훈련하여 비율 추정을 암시적으로 수행함으로써 MCMC 전이 과정 전반에 걸쳐 재사용할 수 있도록 한다.
• 다중 전방 시뮬레이션에 걸친 비율 추정기의 분산을 기반으로 한 진단 지표를 도입하여 근사 품질 평가를 수행한다.
• MCMC 샘플링 중 수치적 강건성을 향상시키기 위해 비율 추정기에 정규화 및 안정화 기법을 적용한다.
• 일반화 및 추정 능력 평가를 위해 완전 연결 및 컨볼루션 아키텍처(예: LeNet, ResNet)를 모두 사용한다.

실험 결과

연구 질문

• RQ1 가능도가 비계산 가능할 때도 효율적인 MCMC 샘플링을 가능하게 하는 방식으로 신경망을 가능도-증거 비율을 근사하도록 훈련시킬 수 있는가?
• RQ2 표준 가능도 자유 추론 방법과 비교했을 때 암시적 비율 추정은 샘플링 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 재훈련 없이도 학습된 비율 추정기가 다수의 MCMC 반복 과정에서 신뢰성 있게 사용될 수 있는가?
• RQ4 비계산 설정에서 비율 근사 품질을 효과적으로 평가할 수 있는 진단 도구는 무엇인가?
• RQ5 이 방법은 관측 차원이 높은 물리학 모델과 같은 복잡한 과학 모델로도 확장 가능한가?

주요 결과

• 제안된 방법은 원형 모델 및 g-and-k 분포와 같은 벤치마크 문제에서 기존의 가능도 자유 추론 기법과 유사한 사후 샘플링 정확도를 달성한다.
• 암시적 비율 추정기는 한 번만 훈련된 네트워크를 모든 전이 과정에 재사용함으로써 안정적이고 효율적인 MCMC 샘플링을 가능하게 하며, 계산 오버헤드를 감소시킨다.
• 다중 시뮬레이션에 걸친 비율 추정기의 분산을 기반으로 한 진단 지표는 특히 원형 모델의 매개변수 $ r $ 에서 근사 품질이 떨어지는 영역을 효과적으로 식별한다.
• 이 방법은 물리 기반 시뮬레이션 모델에서도 뛰어난 성능을 보이며, 실제 과학적 추론 과제에의 적용 가능성을 입증한다.
• 더 높은 용량을 가진 모델(예: ResNet-18)이 복잡한 사후 분포에서 단순한 아키텍처(예: 완전 연결)보다 비율 추정 성능이 뛰어나다.
• 비율 추정기에서 ReLU 활성화 함수를 사용할 경우, 다른 활성화 함수 선택에 비해 더 안정적이고 정확한 주변 사후 분포 추정을 가능하게 한다.