[논문 리뷰] Robust Neural Posterior Estimation and Statistical Model Criticism

Daniel L. Ward, Patrick Cannon외 3명|arXiv (Cornell University)|2022. 10. 12.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 시뮬레이터 출력과 실제 데이터 간의 격차를 명시적으로 모델링하여, 모형이 잘못 설정된 경우에도 안정적인 추론과 해석 가능한 모형 비판이 가능한 Robust Neural Posterior Estimation (RNPE)을 제안한다. RNPE는 시뮬레이터가 잘못 설정된 경우에도 정확하고 보수적인 사후 분포를 유지하는 데서 표준 NPE보다 뛰어난 성능을 보이며, 제어된 모형 오류가 있는 시뮬레이션 및 실제 사례에서 이를 입증하였다.

ABSTRACT

Computer simulations have proven a valuable tool for understanding complex phenomena across the sciences. However, the utility of simulators for modelling and forecasting purposes is often restricted by low data quality, as well as practical limits to model fidelity. In order to circumvent these difficulties, we argue that modellers must treat simulators as idealistic representations of the true data generating process, and consequently should thoughtfully consider the risk of model misspecification. In this work we revisit neural posterior estimation (NPE), a class of algorithms that enable black-box parameter inference in simulation models, and consider the implication of a simulation-to-reality gap. While recent works have demonstrated reliable performance of these methods, the analyses have been performed using synthetic data generated by the simulator model itself, and have therefore only addressed the well-specified case. In this paper, we find that the presence of misspecification, in contrast, leads to unreliable inference when NPE is used naively. As a remedy we argue that principled scientific inquiry with simulators should incorporate a model criticism component, to facilitate interpretable identification of misspecification and a robust inference component, to fit 'wrong but useful' models. We propose robust neural posterior estimation (RNPE), an extension of NPE to simultaneously achieve both these aims, through explicitly modelling the discrepancies between simulations and the observed data. We assess the approach on a range of artificially misspecified examples, and find RNPE performs well across the tasks, whereas naively using NPE leads to misleading and erratic posteriors.

연구 동기 및 목표

• 시뮬레이터가 잘못 설정된 경우 표준 신경망 사후 추정(NPE)이 신뢰할 수 없는 추론을 도출하는 데 발생하는 핵심적 한계를 해결하기 위해.
• 시뮬레이터 기반 모형에 대해 동시에 안정적인 매개변수 추론과 해석 가능한 모형 비판을 가능하게 하는 통합 프레임워크를 개발하기 위해.
• 명시적인 오분포 확률 추정을 사용하여 어떤 요약 통계량이 가장 잘못 설정되어 있을지 식별하는 진단 도구를 제공하기 위해.
• 모형 비판을 추론에서 분리하여, 열악한 추론이 실제 모형 오분포로 오해되는 것을 방지하기 위해.
• 시뮬레이터가 진정한 데이터 생성 과정을 완전히 반영하지 못하는 현실적인 상황에서 RNPE의 실용적 유용성을 입증하기 위해.

제안 방법

• RNPE는 각 요약 통계량이 오분포되었을 가능성을 명시적으로 표현하기 위해 스팘이-앤드-슬랩 오차 모델을 도입하여 NPE를 확장한다.
• 관측된 데이터를 시뮬레이터 출력의 노이즈가 첨부된 변형으로 모델링하고, 진짜 '진짜' 데이터 분포를 추정하기 위해 디노이징 메커니즘을 사용한다.
• 계층적 베이지안 모델을 통해 매개변수의 사후분포와 각 요약 통계량의 오분포 상태를 동시에 학습한다.
• MCMC를 사용하여 매개변수와 오분포 지표의 결합 사후분포를 샘플링함으로써, 시뮬레이터가 잘못되었을 경우에도 안정적인 추론이 가능하도록 한다.
• 프레임워크는 진단적 해석을 가능하게 하며, 오분포 확률이 높은 요약 통계량은 모형 불일치의 원인으로 표시된다.
• 정규화 플로우를 활용하여 밀도 추정을 수행함으로써 고차원 환경에서의 민첩하고 스케일러블한 사후 근사가 가능하다.

실험 결과

연구 질문

• RQ1 관측된 데이터가 시뮬레이터의 지지역역을 벗어나 있을 경우, 표준 신경망 사후 추정(NPE)은 모형 오분포 상황에서 어떻게 성능을 보이는가?
• RQ2 시뮬레이션 기반 추론에서 동시에 안정적인 매개변수 추론과 모형 비판을 수행할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ3 명시적인 오분포 확률 진단 도구가 얼마나 효과적으로 어떤 요약 통계량이 모형-데이터 불일치의 주요 원인인지 식별하는 데 기여하는가?
• RQ4 시뮬레이터가 인위적으로 오분포된 경우, RNPE의 사후 정확도와 커버리지 측면에서 표준 NPE와 비교해 볼 때 성능은 어떠한가?
• RQ5 제안된 방법은 생물학적 또는 전염병학적 모델을 포함한 실제 시뮬레이션 작업에서 모형 오분포를 탐지하고 진단할 수 있는가?

주요 결과

• 정규분포 예제에서 관측된 데이터가 시뮬레이터의 지지역역을 벗어날 경우 표준 NPE는 과신하고 불안정한 사후 분포를 도출했지만, RNPE는 정확하고 보수적인 사후 추정을 유지하였다.
• 보고 지연이 있는 SIR 모델에서 NPE는 잘못된 매개변수 값에 집중된 사후 분포를 추정했지만, RNPE는 오분포를 정확히 식별하고 더 정확한 사후 분포를 도출하였다.
• 괴사된 종양 부위가 있는 CS(암 시뮬레이션) 모델에서 RNPE는 N Cancer 요약 통계량이 오분포되었음을 정확히 식별하여 조직 괴사에 대한 영역 지식과 일치시켰다.
• RNPE는 모든 작업에서 일관된 성능을 보였으며, 진짜 매개변수에 더 많은 사후 질량을 집중시키고 오분포 상황에서 NPE보다 우수한 커버리지 성질을 보였다.
• 이 방법은 오분포 간 상호보완성의 무역-offs를 성공적으로 식별하였으며, 예를 들어 두 요약 통계량 중 하나만 잘 오분포되었을 경우 모형 적합도의 불확실성을 드러내었다.
• 스피크-앤드-슬랩 오차 모델은 해석 가능한 진단 도구를 제공하였으며, 오분포 확률이 관측된 데이터와 가장 불일치하는 통계량을 명확히 나타내었다.