[논문 리뷰] Robust Bayesian Inference for Simulator-based Models via the MMD Posterior Bootstrap

Charita Dellaporta, Jeremias Knoblauch외 2명|arXiv (Cornell University)|2022. 02. 09.

Simulation Techniques and Applications인용 수 4

한 줄 요약

이 논문은 MMD 사후 부스터래핑을 사용하여 시뮬레이터 기반 모델에 대한 강건한 베이지안 추론 방법을 제안한다. 사후 부스터래핑과 최대 평균 차이(MMD) 추정기의 조합을 통해 모형 오스펙리피케이션에 대해 강력한 강건성을 확보한다. 이 방법은 이론적으로 빈도주의 일致성과 일반화 경계를 보장하는 동시에, 매우 병렬화 가능한 추론을 가능하게 하여, 오스펙리피케이션 설정에서 표준 ABC 및 GBI 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Simulator-based models are models for which the likelihood is intractable but simulation of synthetic data is possible. They are often used to describe complex real-world phenomena, and as such can often be misspecified in practice. Unfortunately, existing Bayesian approaches for simulators are known to perform poorly in those cases. In this paper, we propose a novel algorithm based on the posterior bootstrap and maximum mean discrepancy estimators. This leads to a highly-parallelisable Bayesian inference algorithm with strong robustness properties. This is demonstrated through an in-depth theoretical study which includes generalisation bounds and proofs of frequentist consistency and robustness of our posterior. The approach is then assessed on a range of examples including a g-and-k distribution and a toggle-switch model.

연구 동기 및 목표

• 모형 오스펙리피케이션 하에서 기존의 시뮬레이터 기반 모델에 대한 베이지안 방법의 열악한 성능을 해결한다.
• 가정된 모형이 잘못되었을 경우에도 정확성을 유지할 수 있는 강건한 추론 프레임워크를 개발한다.
• 사후 부스터래핑과 MMD 기반 손실 함수를 활용하여 확장 가능하고 병렬 처리 가능한 추론을 가능하게 한다.
• 제안된 방법에 대해 빈도주의 일치성과 일반화 경계를 포함한 이론적 보장을 제공한다.
• g-and-k 및 토글 스위치 모델을 대상으로 실험적 평가를 통해 방법의 강건성을 입증한다.

제안 방법

• 사후 부스터래핑과 MMD 기반 손실 함수를 조합하여 강건한 사후 분포를 구성하는 새로운 알고리즘을 제안한다.
• 실제 데이터로 갱신되는 중심 측도를 갖는 딜레트르 프로세스 사전분포를 사용하여 데이터 생성 분포에 대한 비모수적 사후분포를 형성한다.
• 스틱 브레이킹 과정을 정의하여 정확한 DP 사후분포에서 샘플링함으로써 비모수적 유연성을 보장한다.
• 관측된 데이터와 시뮬레이션된 데이터 분포 간의 MMD를 강건한 손실 함수로 사용하여 이질성의 최소화를 도모한다.
• 유한한 성분 수로 제한된 스틱 브레이킹 과정을 사용하여 DP 사후분포를 근사하며, 이는 트렁케이션 한계 $T$로 제어된다.
• 학습 가능한 길이 척도 $l$을 갖는 가우시안 커널을 사용하여 MMD 손실을 최적화함으로써 민감도 분석과 강건성 조정이 가능하다.

실험 결과

연구 질문

• RQ1 모형이 오스펙리피케이션된 상황에서 시뮬레이터 기반 모델에 대한 베이지안 추론 방법이 일치성과 강건성을 유지할 수 있는가?
• RQ2 제안된 MMD 사후 부스터래핑은 표준 ABC 및 일반화된 베이지안 추론에 비해 커버리지와 강건성 측면에서 어떻게 비교되는가?
• RQ3 모수 $α$, $T$, 및 커널 길이 척도 $l$과 같은 초모수의 영향은 추론 성능에 어떠한가?
• RQ4 모형 오스펙리피케이션 하에서도 일반화 경계와 빈도주의 일치성이 달성되는가?
• RQ5 특히 이상치가 존재할 경우, 방법은 사전 오스펙리피케이션에 얼마나 민감한가?

주요 결과

• 모형 오스펙리피케이션 하에서도 빈도주의 일치성과 일반화 경계를 달성하여 강건한 추론에 대한 이론적 기반을 제공한다.
• MMD 사후 부스터래핑은 사전 오스펙리피케이션에 대해 강력한 강건성을 보이며, $α$와 $ℚ$의 다양한 값에서도 성능이 안정적이다. 특히 $α$가 작을 경우 두드러진다.
• 트렁케이션 한계 $T$에 대해 $T \geq 10$일 경우에 민감도가 낮아져 DP 근사에서 안정적인 수렴을 보인다.
• 가우시안 커널의 길이 척도 $l$이 작을수록 최적화 성능이 뛰어나지며, 진짜 모수 값 근처에서 더 날카로운 MMD 손실 경계를 보여준다.
• g-and-k 분포 및 토글 스위치 모델에 대한 실험 결과는 ABC 및 GBI에 비해 오스펙리피케이션 하에서도 더 뛰어난 강건성과 정확한 모수 추정을 보였다.
• 사후 부스터래핑 접근법은 매우 병렬 처리 가능한 추론을 가능하게 하여 복잡한 시뮬레이터에 대한 확장성 확보에 기여한다.