[논문 리뷰] Asymptotically exact inference in likelihood-free models

Matthew M. Graham, Amos Storkey|arXiv (Cornell University)|2016. 05. 25.

Bayesian Methods and Mixture Models인용 수 1

한 줄 요약

이 논문은 관측된 출력과 일치하는 입력이 정의하는 다양체의 부드러운 기하학적 구조를 활용하여, 가능도 자유 모델에 대한 渐近적으로 정확한 마르코프 체인 몽테카를로(MCMC) 추론 방법을 제안한다. 제약 조건이 부여된 해밀토니안 몽테카를로(HMC) 방법을 사용함으로써, 관측된 출력과 일치하는 입력 다양체를 효율적이고 일관적으로 탐색할 수 있으며, 가능도 자유 모델에서 근사 베이지안 계산(ABC)의 정밀한 대안을 제공한다. 이는 입력에 대해 생성 과정이 미분 가능할 경우에 해당한다.

ABSTRACT

Many generative models can be expressed as a differentiable function of random inputs drawn from some simple probability density. This framework includes both deep generative architectures such as Variational Autoencoders and a large class of procedurally defined simulator models. We present a method for performing efficient MCMC inference in such models when conditioning on observations of the model output. For some models this offers an asymptotically exact inference method where Approximate Bayesian Computation might otherwise be employed. We use the intuition that inference corresponds to integrating a density across the manifold corresponding to the set of inputs consistent with the observed outputs. This motivates the use of a constrained variant of Hamiltonian Monte Carlo which leverages the smooth geometry of the manifold to coherently move between inputs exactly consistent with observations. We validate the method by performing inference tasks in a diverse set of models.

연구 동기 및 목표

• 일반적으로 근사 베이지안 계산(ABC)이 사용되는 가능도 자유 모델에 대해 渐近적으로 정확한 추론 방법을 개발하는 것.
• 고차원 또는 복잡한 생성 모델에서 ABC의 비효율성과 부정확성을 해결하는 것.
• 관측 결과와 대응하는 입력 다양체의 부드러운 기하학적 구조를 활용하는 것.
• 관측된 출력과 일치하는 입력 다양체를 일관되게 탐색함으로써 효율적인 MCMC 표본 추출을 가능하게 하는 것.
• 딥 생성 모델과 미분 가능한 생성 과정을 갖는 정형 시뮬레이터에 모두 적용 가능한 일반적인 프레임워크를 제공하는 것.

제안 방법

• 관측 결과를 정확히 재현하는 입력의 다양체 위에서 사후 밀도를 통합하는 방식으로 추론 문제를 수립한다.
• 미분 가능한 생성 모델을 사용하여 주어진 관측 결과에 대응하는 입력 공간 내의 부드러운 다양체를 정의한다.
• 다양체의 기하학적 구조를 존중하는 제약 조건이 부여된 해밀토니안 몽테카를로(HMC)의 변형을 적용하여 상세 균형(detailed balance)과 정확성을 보장한다.
• 표본 추출 중에 마르코프 체인을 다양체 위에 유지하기 위해 기울기를 탄성 공간에 투영하는 동적 제약 조건을 구현한다.
• 생성 함수의 부드러움과 미분 가능성 덕분에 기울기와 곡률 정보를 계산하여 효율적인 탐색을 가능하게 한다.
• 에너지 보존과 진짜 사후 분포로의 수렴을 보장하기 위해 적응형 단계 크기를 사용하는 수치적 적분을 구현한다.

실험 결과

연구 질문

• RQ1 가능도 자유 모델에서 ABC나 커널 밀도 추정을 활용하지 않고도 渐近적으로 정확한 베이지안 추론을 달성할 수 있는가?
• RQ2 생성 과정이 미분 가능한 모델에서 관측 결과를 정확히 재현하는 입력의 고차원 다양체를 효율적으로 탐색할 수 있는가?
• RQ3 제약 조건이 부여된 HMC는 복잡한 비선형 다양체를 탐색하면서도 정확성을 유지할 수 있도록 어떻게 적응시킬 수 있는가?
• RQ4 기존의 가능도 자유 추론 기법에 비해 이 방법이 가지는 계산적 및 통계적 이점은 무엇인가?
• RQ5 이 방법은 VAE와 같은 다양한 모델 유형, 특히 프로시저럴 시뮬레이터에 어떻게 스케일링되는가?

주요 결과

• 이 방법은 입력 다양체 위의 정확한 사후 분포에서 직접 표본을 추출함으로써 가능도 자유 모델에서 渐近적으로 정확한 추론을 달성한다.
• 특히 고차원 설정에서 표준 ABC 방법에 비해 정확도와 수렴 속도 면에서 뛰어나다.
• 제약 조건이 부여된 HMC 프레임워크는 입력 다양체를 일관되게 효율적으로 탐색할 수 있게 하여 무작위 보행(random-walk) 행동을 줄인다.
• 이 방법은 VAE와 같은 딥 생성 모델뿐 아니라, 생성 과정이 미분 가능한 정형 시뮬레이터에도 적용 가능하다.
• 실증적 검증을 통해 다양한 모델에서 신뢰할 수 있는 추론이 가능하며, 이는 방법의 강건성과 일반화 가능성에 대한 확인을 제공한다.