[논문 리뷰] Likelihood-free inference with emulator networks

Jan-Matthis Lueckmann, Giacomo Bassetto외 2명|arXiv (Cornell University)|2018. 05. 23.

Markov Chains and Monte Carlo Methods참고 문헌 3인용 수 45

한 줄 요약

본 논문은 신경 에뮬레이터를 통해 유연한 합성 가능도(synthetic likelihoods)를 학습하고 활성 학습과 결합하여 likelihood-free 추론을 수행하는 에뮬레이터 네트워크를 제안한다. 이를 통해 사용자 정의 임계값 없이도 효율적인 ABC를 가능하게 한다. 합성의 예시와 신경과학 예시에서 로컬 및 글로벌 에뮬레이터 전략을 시연한다.

ABSTRACT

Approximate Bayesian Computation (ABC) provides methods for Bayesian inference in simulation-based stochastic models which do not permit tractable likelihoods. We present a new ABC method which uses probabilistic neural emulator networks to learn synthetic likelihoods on simulated data -- both local emulators which approximate the likelihood for specific observed data, as well as global ones which are applicable to a range of data. Simulations are chosen adaptively using an acquisition function which takes into account uncertainty about either the posterior distribution of interest, or the parameters of the emulator. Our approach does not rely on user-defined rejection thresholds or distance functions. We illustrate inference with emulator networks on synthetic examples and on a biophysical neuron model, and show that emulators allow accurate and efficient inference even on high-dimensional problems which are challenging for conventional ABC approaches.

연구 동기 및 목표

• 추론 가능하지 않은 가능도를 가진 시뮬레이터 기반 모델에 대한 베이지안 추론을 가능하게 한다.
• ABC에서 수작업으로 정의된 거리 임계값을 시뮬레이터 출력의 확률적 에뮬레이터로 대체한다.
• 활성 학습과 획득 전략을 통해 시뮬레이터 평가 횟수를 줄인다.
• 고차원 관측 및 비가우시안 노이즈에 대한 확장성을 시연한다.
• 합성 벤치마크와 Hodgkin-Huxley 뉴런 모델에 방법을 적용한다.

제안 방법

• 신경망 기반 에뮬레이터 q(x|θ;φ)를 학습하여 p(x|θ)를 근사하고 이를 합성 가능도로 사용한다.
• 에뮬레이터 가중치의 불확실성을 확률적 네트워크나 앙상블로 표현하여 후방 예측 분포를 형성한다.
• 시뮬레이션을 안내하기 위해 두 개의 획득 규칙을 사용한다: 로컬 에뮬레이터 학습용 MaxVar와 글로벌 에뮬레이터 학습용 MaxMI.
• 에뮬레이터 기반 합성 가능성을 이용해 해밀토니안 몬테카를로(Hamiltonian Monte Carlo)로 근사 후방 p~(θ|xo)를 유도한다.
• 글로벌 학습의 경우 정보 이득을 최대화하여 시뮬레이션에 정보가 많이 있는 θ를 선택한다.
• 초기 데이터셋으로 순차적 학습을 적용하고 에뮬레이터를 반복적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 모달리티를 포함한 고차원 출력까지도 에뮬레이터 네트워크가 p(x|θ)를 정확하게 근사하여 likelihood-free 추론에 사용할 수 있는가?
• RQ2 활성 학습 획득 규칙이 균일 샘플링이나 기존 ABC 방법과 비교해 시뮬레이터 효율을 개선하는가?
• RQ3 로컬 에뮬레이터와 글로벌 에뮬레이터의 정확도와 계산 효율은 어떻게 비교되는가?
• RQ4 사전에 정의된 거리 메트릭 없이도 비가우시안 및 이분산 관측모델을 처리할 수 있는가?
• RQ5 Hodgkin-Huxley 신경 역학과 같은 실제 과학 모델에 대해 이 방법이 효과적인가?

주요 결과

• MaxVar 획득을 가진 에뮬레이터는 균일 샘플링보다 진짜 후방에 더 빨리 수렴하고 저차원 케이스에서 BOLFI와 경쟁하거나 이를 능가한다.
• 전방 모델에 대한 글로벌 에뮬레이터를 학습하여 고차원 관측에 확장하고 요약 통계 없이 후방을 추정할 수 있게 한다.
• Hodgkin-Huxley에 적용하면 관측된 스파이크 수와 일치하는 생물물리 매개변수의 후방 분포를 얻는다.
• 블롭 이미지 생성 모델에 대한 시演에서 MaxMI 획득으로 에뮬레이터 매개변수의 학습 속도가 더 빨랐다.
• 이 방법은 사용자가 정의한 거부 임계값이나 거리 함수를 필요로 하지 않으며 비가우시안 데이터를 처리한다.