[논문 리뷰] Investigating the Impact of Model Misspecification in Neural Simulation-based Inference

Patrick Cannon, Daniel L. Ward외 1명|arXiv (Cornell University)|2022. 09. 05.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 모형 부정확성 하에서 신경망 기반 시뮬레이션 기반 추론(SBI) 방법의 성능을 조사하며, NRE, NPE, NLE에서 심각한 사후 보정 오류가 발생하는 것으로 드러났다. 작은 데이터 변형조차도 심각한 사후 보정 오류를 유발한다. 앙상블 사후 및 날카움 인식 최소화(SAM)와 같은 완화 전략을 시험했지만, 어느 방법도 완전한 강건성을 복원하지 못했으며, 실세계 적용에서 신뢰할 수 있는 추론을 확보하기 위한 새로운 접근 방식의 필요성이 뚜렷하게 드러났다.

ABSTRACT

Aided by advances in neural density estimation, considerable progress has been made in recent years towards a suite of simulation-based inference (SBI) methods capable of performing flexible, black-box, approximate Bayesian inference for stochastic simulation models. While it has been demonstrated that neural SBI methods can provide accurate posterior approximations, the simulation studies establishing these results have considered only well-specified problems -- that is, where the model and the data generating process coincide exactly. However, the behaviour of such algorithms in the case of model misspecification has received little attention. In this work, we provide the first comprehensive study of the behaviour of neural SBI algorithms in the presence of various forms of model misspecification. We find that misspecification can have a profoundly deleterious effect on performance. Some mitigation strategies are explored, but no approach tested prevents failure in all cases. We conclude that new approaches are required to address model misspecification if neural SBI algorithms are to be relied upon to derive accurate scientific conclusions.

연구 동기 및 목표

• 실세계 응용에서 흔하지만 다루지 않은 경우가 많은 모형 부정확성 하에서 최신 신경망 기반 SBI 방법의 강건성을 평가하기 위해.
• 기존의 완화 전략—예를 들어 앙상블 사후 및 날카움 인식 최소화(SAM)—이 모형 부정확성 하에서도 신뢰할 수 있는 사후 근사치를 복원할 수 있는지 확인하기 위해.
• 여러 모형 부정확성 시뮬레이션 작업에서 신경망 기반 SBI 방법(NRE, NPE, NLE)과 ABC를 벤치마킹하여 일반화 능력과 실패 유형을 평가하기 위해.
• 모형 부정확성이 체계적인 사후 과신과 낮은 커버리지로 이어져 고위험 과학적 추론에서 신경망 기반 SBI의 신뢰도를 해칠 수 있음을 입증하기 위해.
• 실제 적용에서 흔히 발생하는 모형-데이터 불일치 상황에서 신경망 기반 SBI의 강건성을 보장할 수 있는 새로운 방법론 개발의 필요성을 제기하기 위해.

제안 방법

• 모형 부정확성이 점차 증가하는 상황에서 세 가지 시뮬레이션 작업(TG-SS, SLCP, SV-SS)에 대해 신경망 기반 SBI 방법(NRE, NPE, NLE)과 ABC를 종합적으로 벤치마킹하였다.
• 진짜 데이터 생성 과정과의 구조적 유사성을 유지하면서 모형 부정확성을 시뮬레이션하기 위해 통제된 데이터 변환—예를 들어 변동성 충격과 가우시안 노이즈 추가—을 도입하였다.
• 모든 방법과 부정확성 수준에서 사후 보정과 커버리지를 평가하기 위해 sbibm 라이브러리의 MCMC 샘플러로부터 생성된 기준 사후 분포를 사용하였다.
• 분포 이탈에 대한 강건성을 향상시키기 위해 여러 개의 훈련된 사후 네트워크를 조합하여 앙상블 사후를 적용하였다.
• 특히 부정확성 하에서의 일반화 능력을 향상시키기 위해 훈련 중에 날카움 인식 최소화(SAM)를 적용하였다.
• 커버리지 지표(예: 신뢰구간 내에 진짜 매개변수의 비율)와 사후 분산을 측정하여 과신과 보정 오류를 평가하였다.

실험 결과

연구 질문

• RQ1 모형 부정확성으로 인해 시뮬레이터와 데이터 생성 과정이 불일치할 경우, 신경망 기반 SBI 방법(NRE, NPE, NLE)의 성능은 어떻게 되는가?
• RQ2 앙상블 사후와 날카움 인식 최소화(SAM)는 모형 부정확성 하에서 신경망 기반 SBI의 강건성을 어느 정도 향상시킬 수 있는가?
• RQ3 모형 부정확성 하에서 약간의 근사 베이지안 계산(ABC)은 신경망 기반 SBI 방법보다 신뢰할 수 있는가?
• RQ4 신경망 기반 SBI 방법의 실패는 다양한 작업과 모형 유형에 걸쳐 체계적인가, 아니면 방법에 따라 특이적인가?
• RQ5 데이터 노이즈가 있거나 모형 가정이 위반될 경우, 현재의 신경망 기반 SBI 기법은 고위험 과학적 추론에 신뢰할 수 있는가?

주요 결과

• 모형 부정확성 하에서 신경망 기반 SBI 방법(NRE, NPE, NLE)은 심각한 사후 보정 오류를 보이며, 부정확성이 증가할수록 과신과 낮은 커버리지가 증가한다.
• 작은 데이터 변형—예를 들어 확률적 변동성 모형에서 10%의 변동성 충격—조차도 진짜 사후 질량을 커버하지 못하는 사후 추정치를 유도하여 체계적 실패를 나타낸다.
• ABC는 부정확성에 대해 뛰어난 강건성을 보이며, 심지어 높은 수준의 모형 이질성 하에서도 약간의 과신 사후를 생성할 뿐이다.
• 앙상블 사후 방법은 특히 강건한 훈련과 조합했을 때 보정 오류를 부분적으로 완화하지만, 모든 작업에서 커버리지를 완전히 복원하지 못한다.
• 날카움 인식 최소화(SAM)는 NRE와 NLE에 대해 성능 향상을 보였지만, NPE에는 효과가 없었으며, 이는 방법 간 일반화 능력의 국한을 시사한다.
• 시험된 모든 완화 전략이 부정확성 하에서의 실패를 완전히 방지하지 못했으며, 이는 신경망 기반 SBI에서 모형-데이터 불일치 상황에 대비한 새로운 강건한 추론 프레임워크 개발의 긴급한 필요성을 강조한다.