[논문 리뷰] JANA: Jointly Amortized Neural Approximation of Complex Bayesian Models

Stefan T. Radev, Marvin Schmitt외 4명|arXiv (Cornell University)|2023. 02. 17.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

JANA는 세 개의 엔드 투 엔드 훈련된 네트워크인 요약 네트워크, 사후 네트워크, 그리고 가능도 네트워크를 사용하여, 복잡한 베이지안 모델의 약간의 사후 추론과 가능도 근사치를 동시에 학습하는 공동 신경망 아키텍처를 소개한다. 이는 동일한 시뮬레이션 예산 하에서 순차적 방법보다 우수하거나 동등한 성능을 보이며, 주변 가능도와 사후 예측 분포의 효율적이고 정확한 추정을 가능하게 한다—베이지안 모델 비교 및 검증의 핵심 요소들이다.

ABSTRACT

This work proposes ``jointly amortized neural approximation'' (JANA) of intractable likelihood functions and posterior densities arising in Bayesian surrogate modeling and simulation-based inference. We train three complementary networks in an end-to-end fashion: 1) a summary network to compress individual data points, sets, or time series into informative embedding vectors; 2) a posterior network to learn an amortized approximate posterior; and 3) a likelihood network to learn an amortized approximate likelihood. Their interaction opens a new route to amortized marginal likelihood and posterior predictive estimation -- two important ingredients of Bayesian workflows that are often too expensive for standard methods. We benchmark the fidelity of JANA on a variety of simulation models against state-of-the-art Bayesian methods and propose a powerful and interpretable diagnostic for joint calibration. In addition, we investigate the ability of recurrent likelihood networks to emulate complex time series models without resorting to hand-crafted summary statistics.

연구 동기 및 목표

• 기존 방법들이 서브모델링과 시뮬레이션 기반 추론을 별도로 다루는 격차를 메운다.
• 적합하지 않은 적분이 있는 복잡한 모델에서 사후 분포와 가능도 함수의 효율적이고 약간의 추정을 가능하게 한다.
• MCMC나 비용이 많이 드는 재피팅 없이도 주변 가능도와 사후 예측 분포를 계산하는 통합 프레임워크를 제공한다.
• 신경망의 공동 校정을 위한 진단 도구를 개발한다.
• 손으로 설계한 요약 통계 자료 없이도 시간적 시계열 모델에 대해 순환 가능도 네트워크의 효과성을 입증한다.

제안 방법

• 입력 데이터(예: 시계열, 집합)를 정보가 풍부한 임bedding 벡터로 압축하는 요약 네트워크를 훈련한다.
• 모델 파라미터에 대한 약간의 근사 사후 분포를 학습하는 사후 네트워크를 훈련한다.
• 새로운 데이터 포인트에 대한 약간의 근사 가능도 함수를 학습하는 가능도 네트워크를 훈련한다.
• 가능도 네트워크에서 주변 가능도를 효율적으로 계산하기 위해 확률적 변수변환 공식을 사용한다.
• 새로운 데이터에 대해 사후 네트워크와 가능도 네트워크를 조합하여 사후 예측 추정을 가능하게 한다.
• 세 네트워크를 엔드 투 엔드 훈련 체계에 통합하여 모든 구성 요소를 함께 최적화한다.

Figure 1 : A conceptual illustration of our method for jointly amortized neural approximation (JANA). On the one hand, the summary and posterior network can perform amortized posterior estimation and detect model misspecification. On the other hand, the likelihood network can perform amortized likel

실험 결과

연구 질문

• RQ1 단일 신경망 아키텍처가 복잡한 베이지안 모델에서 사후 및 가능도 분포를 동시에 근사할 수 있는가?
• RQ2 동일한 시뮬레이션 예산 하에서 공동 약간 학습이 순차적 추론 방법(예: ABC-SMC, SNL)보다 우수하거나 동등한 성능을 내는가?
• RQ3 손으로 설계한 요약 통계 자료 없이도 순환 가능도 네트워크가 복잡한 시계열 모델을 효과적으로 모방할 수 있는가?
• RQ4 공동 네트워크 아키텍처가 모델 비교를 위한 효율적이고 정확한 주변 가능도 추정을 지원할 수 있는가?
• RQ5 통합 진단 도구가 사후 및 가능도 네트워크의 공동 校정을 원칙적이고 해석 가능한 방식으로 평가할 수 있는가?

주요 결과

• JANA는 동일한 시뮬레이션 예산 하에서 ABC-SMC, SNL, SNPE와 같은 순차적 추론 방법과 동등하거나 더 뛰어난 성능을 달성한다.
• 공동 아키텍처는 변수변환 공식을 통해 주변 가능도 추정을 효율적으로 가능하게 하여 사전 예측 모델 선택을 지원한다.
• MCMC나 재피팅 없이도 사후 예측 분포를 빠르고 정확하게 계산할 수 있어 강력한 검증 절차를 가능하게 한다.
• 손으로 설계한 요약 통계 자료 없이도 순환 가능도 네트워크가 복잡한 시계열 모델을 효과적으로 모방한다.
• 제안된 공동 校정 진단 도구는 사후 및 가능도 네트워크에서의 모델 부정확성 감지를 민감하고 해석 가능한 방법으로 제공한다.
• 결과는 약간 추론이 낭비적이라는 가정을 도전하며, 깊은 네트워크가 국소 정확도 향상을 위해 넓은 시뮬레이션 범위를 활용함으로써 유익하다는 것을 보여준다.

Figure 2 : Recurrent likelihood networks can emulate complex Bayesian stochastic differential equation models of disease outbreaks (see Experiment 4 ).The top and bottom row each depict $1\,000$ simulations (same $\boldsymbol{\theta}$ ) from the surrogate and the actual simulator, respectively.