[논문 리뷰] Averting A Crisis In Simulation-Based Inference

Joeri Hermans, Arnaud Delaunoy외 3명|arXiv (Cornell University)|2021. 10. 13.

Gaussian Processes and Bayesian Inference참고 문헌 50인용 수 10

한 줄 요약

이 논문은 현재의 베이지안 시뮬레이션 기반 추론 알고리즘—SNPE, NRE, SNL, ABC 변종 포함—이 과신된 사후 근사치를 생성하여 과학적 매개변수 반증의 신뢰성을 해칠 수 있음을 밝혀낸다. 연구는 보수적인 추론 방법을 권장하며, 앙상블 방법이 일관되게 더 신뢰할 수 있는 결과를 도출함을 보여주며, 이는 이론적으로 타당하고 견고한 알고리즘으로의 연구 방향 전환을 촉구한다.

ABSTRACT

We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms are inadequate for the falsificationist methodology of scientific inquiry. Our results collected through months of experimental computations show that all benchmarked algorithms -- (S)NPE, (S)NRE, SNL and variants of ABC -- may produce overconfident posterior approximations, which makes them demonstrably unreliable and dangerous if one's scientific goal is to constrain parameters of interest. We believe that failing to address this issue will lead to a well-founded trust crisis in simulation-based inference. For this reason, we argue that research efforts should now consider theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembles are consistently more reliable.

연구 동기 및 목표

• 사실 확인 기반 과학적 탐구의 맥락에서 기존 베이지안 시뮬레이션 기반 추론 알고리즘의 신뢰성 부족을 드러내는 것.
• 현재의 방법들인 SNPE, NRE, SNL, ABC가 과신된 사후 근사치를 생성하여 과학적 오해의 위험을 초래할 수 있음을 입증하는 것.
• 이 문제를 해결하지 않을 경우 시뮬레이션 기반 추론에 대한 정당한 신뢰 위기가 발생할 것임을 주장하는 것.
• 필수적인 방법론적 전환을 위해 보수적이고 이론적으로 탄탄한 근사 추론 알고리즘에 대한 연구를 촉구하는 것.
• 앙상블 기반 접근이 사후 근사치의 신뢰성 향상에 항상 기여함을 경험적으로 검증하는 것.

제안 방법

• SNPE, SNRE, SNL, ABC 변종 포함 다수의 벤치마크된 시뮬레이션 기반 추론 알고리즘에 대한 광범위한 경험적 평가.
• 사후 보정 및 과신 정도를 검증하기 위해 수개월에 걸친 체계적 계산.
• 모델 평균화 또는 다양성 활용을 통한 사후 근사치의 신뢰성 향상을 위한 앙상블 방법의 활용.
• 매개변수 제약 정확도에 중점을 두어 사실 확인 기반 방법론에 따른 추론 신뢰성 평가.
• 알고리즘 간 사후 신뢰구간 비교를 통한 과신 정도 탐지.
• 보정 및 근사 사후의 신뢰성 평가를 위한 통계적 진단 도구의 적용.

실험 결과

연구 질문

• RQ1 현재의 시뮬레이션 기반 추론 알고리즘이 얼마나 과신된 사후 근사치를 생성하는가?
• RQ2 SNPE, NRE, SNL, ABC 등의 다양한 알고리즘 간 사후 근사치의 신뢰성은 어떻게 달라지는가?
• RQ3 앙상블 방법은 시뮬레이션 기반 추론에서 과신을 완화하고 신뢰성을 향상시킬 수 있는가?
• RQ4 과신된 사후 확률이 과학적 탐구의 사실 확인 기반 방법론에 어떤 영향을 미치는가?
• RQ5 신뢰할 수 있는 시뮬레이션 기반 추론을 확보하기 위해 필요한 이론적 및 방법론적 전환은 무엇인가?

주요 결과

• 벤치마크된 모든 시뮬레이션 기반 추론 알고리즘—SNPE, NRE, SNL, ABC 변종 포함—이 과신된 사후 근사치를 생성하여 과학적 신뢰성에 악영향을 미친다.
• 과신 문제는 광범위하고 체계적이며, 현재의 시뮬레이션 기반 추론 접근 방식에 근본적인 결함이 있음을 시사한다.
• 앙상블 방법은 개별 모델 대비 일관되게 더 신뢰할 수 있는 사후 근사치를 도출함으로써 더 견고한 추론으로의 길을 제시한다.
• 현재 표준 알고리즘에 의존할 경우 과학적 매개변수 추정에서 오해의 위험이 매우 높다는 것을 시사한다.
• 논문은 현재 시뮬레이션 기반 추론의 상태가 보정이 부족하여 사실 확인 기반 과학적 탐구에 부적합하다고 확립한다.
• 과신 문제를 해결하지 않을 경우, 시뮬레이션 기반 추론에 대한 정당한 신뢰 위기는 피할 수 없다.