[논문 리뷰] Addressing Misspecification in Simulation-based Inference through Data-driven Calibration

Antoine Wehenkel, Juan L. Gamella외 5명|arXiv (Cornell University)|2024. 05. 14.

Simulation Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 시뮬레이션 기반 추론에서 모델 부정확성 문제를 보정하기 위해 소량의 실제 세계 캘리브레이션 데이터를 사용하는 데이터 기반 캘리브레이션 프레임워크인 Robust Posterior Estimation (ROPE)을 소개한다. 실제 관측치 표현과 시뮬레이션된 관측치 표현 간의 최적 운반 문제로 부정확성 갭을 공식화함으로써, ROPE는 다양한 합성 및 실제 세계 작업 전반에서 잘 캘리브레이션되고 정보적인 신뢰구간을 달성한다.

ABSTRACT

Driven by steady progress in deep generative modeling, simulation-based inference (SBI) has emerged as the workhorse for inferring the parameters of stochastic simulators. However, recent work has demonstrated that model misspecification can compromise the reliability of SBI, preventing its adoption in important applications where only misspecified simulators are available. This work introduces robust posterior estimation~(RoPE), a framework that overcomes model misspecification with a small real-world calibration set of ground-truth parameter measurements. We formalize the misspecification gap as the solution of an optimal transport~(OT) problem between learned representations of real-world and simulated observations, allowing RoPE to learn a model of the misspecification without placing additional assumptions on its nature. RoPE demonstrates how OT and a calibration set provide a controllable balance between calibrated uncertainty and informative inference, even under severely misspecified simulators. Results on four synthetic tasks and two real-world problems with ground-truth labels demonstrate that RoPE outperforms baselines and consistently returns informative and calibrated credible intervals.

연구 동기 및 목표

• 시뮬레이터가 실제 세계 데이터 생성 과정을 정확히 반영하지 못하는 시뮬레이션 기반 추론(SBI)에서의 모델 부정확성 문제를 해결한다.
• 특히 잘못 캘리브레이션되거나 정보가 부족한 사후 분포를 생성하는 경향이 있는 표준 SBI 방법의 신뢰성 문제를 해결한다.
• 알려진 잘 정의된 사전분포와 소량의 참값 파ameter-관측값 쌍을 가진 캘리브레이션 세트가 있을 때, 최소한의 실제 세계 캘리브레이션 데이터로도 강력한 사후 추정을 가능하게 한다.
• 모든 형태의 시뮬레이터 부정확성에 대해 캘리브레이션된 불확실성과 정보성 있는 추론을 균형 있게 유지함으로써, 부정확성의 구조에 대해 강한 가정 없이 통계적 신뢰성을 확보한다.
• 실제 과학적 및 공학적 문제에 적용 가능한 실용적이고 확장 가능한 프레임워크를 제공한다. 이는 고정밀도의 시뮬레이터가 완벽하지는 않지만 추론 결과는 신뢰할 수 있어야 하는 상황에서 유용하다.

제안 방법

• 정규화 플로우 기반 신경 사후 추정(NPE)을 사용하여 시뮬레이션된 데이터에서 서브라우트 사후를 학습하고, 관측치를 잠재 공간에 매핑하는 표현 함수 $\mathbf{h}_{\omega^\star}$ 를 생성한다.
• 캘리브레이션 세트를 활용하여 실제 관측치 표현 $\{\mathbf{g}_{\varphi^\star}(\mathbf{x}_o^i)\}$ 와 시뮬레이션된 관측치 표현 $\{\mathbf{h}_{\omega^\star}(\mathbf{x}_s^j)\}$ 간의 최적 운반(OT) 문제로 부정확성 갭을 수학적으로 정의한다.
• 실제 세계 데이터 분포를 반영하도록 사후 추정치가 올바르게 캘리브레이션되도록 보장하기 위해, OT 기반 목적함수를 활용해 NPE 표현 함수 $\mathbf{h}_{\omega^\star}$ 를 보정된 함수 $\mathbf{g}_{\varphi^\star}$ 로 미세조정한다.
• 테스트 시점에 새로운 관측치 $\mathbf{x}_o$ 와 시뮬레이션 데이터셋 간의 최적 운반 결합 $P^\star$ 를 계산하고, $P^\star$ 를 사용해 시뮬레이션된 사후 분포의 가중 평균으로 사후를 추정한다.
• 알려진 사전분포 $p(\theta)$ 와 보정된 표현 함수를 활용하여 정보성 있고 통계적으로 잘 캘리브레이션된 사후 분포를 생성한다.
• 차별가능한 OT 솔버를 활용해 캘리브레이션 헤드의 엔드 투 엔드 학습을 가능하게 하여, 깊이 학습 파ip라인과의 호환성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 소량의 실제 세계 캘리브레이션 세트가 시뮬레이터 부정확성 존재 하에서 사후 추론의 신뢰성에 크게 기여할 수 있는가?
• RQ2 시뮬레이션된 관측치 분포와 실제 세계 관측치 분포 간의 격차를 SBI에서 정량적으로 모델링하고 보정할 수 있는가?
• RQ3 ROPE가 다양한 부정확성 패턴 하에서도 정보성 있는 추론을 유지하면서 통계적 캘리브레이션을 유지할 수 있는 정도는 어느 정도인가?
• RQ4 최적 운반 공식화가 특정 형태의 부정확성에 대한 가정 없이도 시뮬레이션된 표현과 실제 세계 표현 간의 정렬을 원칙적이고 강력한 방식으로 제공할 수 있는가?
• RQ5 ROPE가 합성 및 실제 세계 벤치마크 전반에서 기존의 SBI 기준 대비 캘리브레이션 수준과 사후 정보성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• ROPE는 네 가지 합성 작업과 두 가지 실제 세계 문제에서 일관되게 잘 캘리브레이션된 신뢰구간을 생성하며, 모든 기준 대비 통계적 캘리브레이션에서 승리한다.
• 모든 벤치마크에서 ROPE는 ACAUC(평균 캘리브레이션 곡선 아래 면적) 측정치로 측정된 바와 같이 높은 사후 정보성과 거의 완벽한 캘리브레이션을 유지하며, 값이 항상 0.95 초과를 기록한다.
• 캘리브레이션 세트가 10개 샘플 밖에 없을 때도 신뢰할 수 있는 불확실성 정량화를 달성하여 뛰어난 데이터 효율성을 입증한다.
• ROPE는 실제 세계 데이터의 분포 이동에 대해 강건하게 작동하며, 기준 방법이 실패하는 상황에서도 캘리브레이션과 정보성을 유지한다.
• 최적 운반 기반 캘리브레이션 메커니즘은 단순한 재가중 또는 재매개변수화 방법보다 더 복잡한 비선형 격차를 효과적으로 포착하여 성능을 뛰어나게 한다.
• 실험 결과에 따르면, ROPE의 캘리브레이션된 사후 분포는 특히 심각한 시뮬레이터 부정확성 하에서 비캘리브레이션된 SBI 방법보다 더 정확한 매개변수 추정치를 제공한다.