[논문 리뷰] Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks

Marvin Schmitt, Paul‐Christian Bürkner외 2명|arXiv (Cornell University)|2021. 12. 16.

Gaussian Processes and Bayesian Inference인용 수 12

한 줄 요약

이 논문은 시뮬레이션 기반 추론(SBI)에서 신경망을 사용한 암시적 베이지안 추론에 대해 테스트 시점의 모델 오특도 검출 방법을 제안한다. 최대 평균 차이(MMD)를 통해 요약 통계 공간에서 분포 불일치를 측정함으로써, 진정한 데이터 생성 과정이 훈련 시 사용된 시뮬레이터와 다를 경우, 진짜 데이터가 없더라도 신뢰할 수 없는 사후 추정치를 경고할 수 있도록 신뢰성 있게 탐지한다.

ABSTRACT

Neural density estimators have proven remarkably powerful in performing efficient simulation-based Bayesian inference in various research domains. In particular, the BayesFlow framework uses a two-step approach to enable amortized parameter estimation in settings where the likelihood function is implicitly defined by a simulation program. But how faithful is such inference when simulations are poor representations of reality? In this paper, we conceptualize the types of model misspecification arising in simulation-based inference and systematically investigate the performance of the BayesFlow framework under these misspecifications. We propose an augmented optimization objective which imposes a probabilistic structure on the latent data space and utilize maximum mean discrepancy (MMD) to detect potentially catastrophic misspecifications during inference undermining the validity of the obtained results. We verify our detection criterion on a number of artificial and realistic misspecifications, ranging from toy conjugate models to complex models of decision making and disease outbreak dynamics applied to real data. Further, we show that posterior inference errors increase as a function of the distance between the true data-generating distribution and the typical set of simulations in the latent summary space. Thus, we demonstrate the dual utility of MMD as a method for detecting model misspecification and as a proxy for verifying the faithfulness of amortized Bayesian inference.

연구 동기 및 목표

• 훈련 시 사용된 시뮬레이터가 테스트 시점의 진정한 데이터 생성 과정과 정확히 일치하지 않을 때 발생하는 암시적 베이지안 추론에서의 모델 오특도 문제를 해결하기 위해.
• 진짜 분포의 레이블이 없는 조건에서 이러한 오특도를 테스트 시점에 감지할 수 있는 방법을 개발하기 위해.
• 신경망 사후 추정기에서의 사후 추정치가 시뮬레이터나 사전 분포의 오특도로 인해 신뢰할 수 없음을 나타내는 신뢰성 있는 비지도 신호를 제공하기 위해.
• 오특도의 심각도를 정량화하여 시뮬레이션 모델의 결함을 식별하고 수정하는 데 모델 설계자들을 지원하기 위해.

제안 방법

• 모델은 관측치를 저차원의 요약 통계 공간으로 매핑하는 신경망 요약 네트워크를 사용하며, 여기서 내재된 데이터(훈련 시뮬레이터에서 유래)의 분포는 사전에 알려져 있다고 기대한다(예: 단위 정규분포).
• 테스트 시점에 모델은 관측 데이터의 요약 통계와 알려진 내재된 분포 사이의 최대 평균 차이(MMD)를 계산하여 오특도 점수를 산출한다.
• 진짜 데이터나 레이블이 필요 없기 때문에, 완전히 비지도 방식으로 모델 오특도를 탐지할 수 있다.
• 이 방법은 사전 분포 오특도와 시뮬레이터 오특도(예: 생성 모델의 노이즈 스케일 또는 구조적 오류) 모두에 적용 가능하다.
• 해석 가능한 토이 모델과 실제 과학적 과제(예: 세포 생물학, 인지적 의사결정, 질병 유행 모델링)에 대해 평가되었다.
• 기본 모델 설정 하에서 MMD의 표본 분포를 추정하기 위해 부트스트랩 기법을 사용하여 오특도 심각도에 대한 통계적 추론이 가능해졌다.

실험 결과

연구 질문

• RQ1 시뮬레이터나 사전 분포에서의 모델 오특도가 암시적 SBI에서 신경망 사후 추정기의 신뢰성에 어떤 영향을 미치는가?
• RQ2 진짜 데이터나 레이블이 없이도, 테스트 시점에서 비지도 이상 탐지 방법이 모델 오특도를 신뢰성 있게 탐지할 수 있는가?
• RQ3 요약 통계 공간에서의 MMD는 사전 분포 불일치, 시뮬레이터의 구조적 오류, 노이즈 스케일 불일치 등 다양한 유형의 오특도를 어느 정도 탐지할 수 있는가?
• RQ4 모델이 오특도가 있을 경우, 기존의 추론 방법(MCMC 등)과 비교해 성능 면에서 어떻게 다른가?
• RQ5 오특도 점수는 모델 설계자가 시뮬레이션 모델의 결함을 식별하고 수정하는 데 도움이 될 수 있는가?

주요 결과

• 제안된 MMD 기반 오특도 탐지기는 진짜 데이터가 없더라도 토이 모델과 실제 과학적 응용 분야에서 모델 오특도를 안정적으로 탐지한다.
• 요약 공간에서의 MMD 증가로 인해 사전 오특도(예: 잘못된 사전 초모수)를 매우 민감하게 탐지할 수 있었다.
• 노이즈 스케일 오류나 구조적 결함(예: 암 모델에서의 괴사)이 있는 시뮬레이터 오특도도 요약 공간의 MMD 이상 현상으로 탐지 가능하다.
• 확산 의사결정 모델(DDM) 실험에서는 반응 시간 데이터에 빠른 또는 느린 추측이 혼입될수록 MMD 점수가 증가하는 경향을 보였으며, 이는 오염 수준 증가에 따른 성능 저하가 탐지 가능함을 시사한다.
• BayesFlow와 MCMC의 사후 추정치가 오특도 조건에서 분리될 경우, 이 방법은 경고를 발동시켜 신뢰할 수 없는 추론을 식별하는 데 유용함을 입증했다.
• 기본 모델(잘 지정된 모델)에서는 MMD 점수가 항상 0을 유지하여 오특도가 없을 경우에도 방법의 신뢰성을 확인했다.