[논문 리뷰] Automatic Posterior Transformation for Likelihood-Free Inference

David S. Greenberg, Marcel Nonnenmacher외 1명|arXiv (Cornell University)|2019. 05. 17.

Machine Learning in Healthcare인용 수 74

한 줄 요약

APT는 임의적이고 동적으로 업데이트되는 제안과 흐름 기반 밀도 추정기를 허용하여 가능도-없는 설정에서 진짜 후방 분포를 효과적으로 추론할 수 있게 하는 순차적 신경 후방 추정 방법이며, 고차원 시계열 및 이미지 포함.

ABSTRACT

How can one perform Bayesian inference on stochastic simulators with intractable likelihoods? A recent approach is to learn the posterior from adaptively proposed simulations using neural network-based conditional density estimators. However, existing methods are limited to a narrow range of proposal distributions or require importance weighting that can limit performance in practice. Here we present automatic posterior transformation (APT), a new sequential neural posterior estimation method for simulation-based inference. APT can modify the posterior estimate using arbitrary, dynamically updated proposals, and is compatible with powerful flow-based density estimators. It is more flexible, scalable and efficient than previous simulation-based inference techniques. APT can operate directly on high-dimensional time series and image data, opening up new applications for likelihood-free inference.

연구 동기 및 목표

• 확률적 시뮬레이터의 가능도가 다루기 어려운 경우 베이지안 추론의 필요성을 동기 부여합니다.
• Flexible하고 상용화 가능한 SNPE 기법으로 Automatic Posterior Transformation (APT)을 소개합니다.
• 중요도 가중치 없이 임의의 제안과 흐름 기반 밀도 추정기를 사용할 수 있도록 합니다.
• 요약 통계에 의존하지 않고도 고차원 시계열 및 이미지 데이터에 대해 APT가 확장 가능하다는 것을 보여줍니다.

제안 방법

• Likelihood-free 설정에서의 후방 추정 문제를 p(θ|x)를 근사하기 위한 qF(x,φ)(θ) 학습으로 정의합니다.
• 정규화 상수 Z(x,φ)를 사용하여 p(θ|x)와 ṗ(θ)/p(θ) 간의 비율을 변환하여 진짜 후방과 제안 후방 사이를 변환합니다.
• Eq. (2)에 따라 ṡ를 사용한 변환된 손실 ḡL를 최소화하여 p(θ|x)와 ṗ(θ|x)를 복구하는 학습을 수행합니다.
• 회차에 따라 임의의 동적 업데이트 제안 ṗr(θ)을 허용하여 데이터 취득의 유연성을 제공합니다.
• 가우시안, 혼합, 흐름 기반 밀도 추정기를 지원하며, 적분을 합으로 대체하는 원자적 제안을 포함합니다.
• 복잡한 제안에 대해 효율적인 샘플링과 학습을 가능하게 하는 ṭq의 닫힌 형태 해를 제공합니다.

실험 결과

연구 질문

• RQ1 APT가 임의의 제안 분포 ṗ(θ) 아래에서 중요도 가중치 없이도 진짜 후방 p(θ|x)를 복원할 수 있는가?
• RQ2 가우시안, MoG(혼합 가우시안), 흐름 등 다양한 밀도 추정기와 원자적 제안에서의 APT의 성능은 어떠한가?
• RQ3 핸드메이드 요약 통계에 의존하지 않고 고차원 데이터(예: 긴 시계열, 이미지)에 대해 APT가 확장 가능한가?
• RQ4 APH가 다모드(multimodal) 및 고차원 후방 추론을 기존 SNPE 접근법보다 더 효율적으로 가능하게 하는가?
• RQ5 적절한 신경 아키텍처(RNN, CNN)를 사용한 시계열 및 이미지 데이터에서 APT가 효과적으로 작동하는가?

주요 결과

• APT는 각 회차에서 진짜 후방과 제안 후방을 모두 복구하여 제안과 밀도 추정기의 유연한 사용을 가능하게 합니다.
• 가우시안 및 MoG 사전/제안과 다양한 후방에 대해 변환된 후방의 닫힌 형태 업데이트를 도출합니다(예: 식 (3)-(4)).
• 원자적 제안은 적분 대신 합으로 학습을 가능하게 하여 흐름 기반 추정기와 다모드 후방을 가능하게 합니다.
• APT는 여러 벤치마크에서 SNPE-A 및 SNPE-B를 능가하고 SNL에 근접하며, SLCP 및 고차원 이미지와 유사한 데이터에서도 성능을 보입니다.
• APT는 RNN으로 원시 시계열에서, CNN으로 이미지 데이터에서 handcrafted 요약 통계의 필요 없이 작동합니다.