[논문 리뷰] Generalized Posteriors in Approximate Bayesian Computation

Sebastian M. Schmon, Patrick W Cannon외 1명|arXiv (Cornell University)|2020. 11. 17.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 9

한 줄 요약

이 논문은 일반화 베이지안 추론(GBI)의 관점에서 근사 베이지안 계산(ABC)을 재해석하며, ABC의 수락/기각 단계를 암묵적 오차 모델로 간주한다. 커널 폭을 강건한 노이즈 모델로 간주하고 일반화 사후확률을 활용함으로써, 모형 오특정 상황에서도 추론의 효율성과 강건성을 향상시킨다. 실험 결과로는 동일한 계산 예산 하에서 일반화 손실을 사용하는 ABC-MCMC가 표준 ABC보다 네 배 이상 높은 유효 표본 크기(effective sample size)를 기록하였다.

ABSTRACT

Complex simulators have become a ubiquitous tool in many scientific disciplines, providing high-fidelity, implicit probabilistic models of natural and social phenomena. Unfortunately, they typically lack the tractability required for conventional statistical analysis. Approximate Bayesian computation (ABC) has emerged as a key method in simulation-based inference, wherein the true model likelihood and posterior are approximated using samples from the simulator. In this paper, we draw connections between ABC and generalized Bayesian inference (GBI). First, we re-interpret the accept/reject step in ABC as an implicitly defined error model. We then argue that these implicit error models will invariably be misspecified. While ABC posteriors are often treated as a necessary evil for approximating the standard Bayesian posterior, this allows us to re-interpret ABC as a potential robustification strategy. This leads us to suggest the use of GBI within ABC, a use case we explore empirically.

연구 동기 및 목표

• 시뮬레이터가 오특정되어 있고 가능도가 추정 불가능한 상황에서 강건한 베이지안 추론을 수행하는 데 도전하는 것.
• ABC 수락/기각 메커니즘을 암묵적 오차 모델로 재해석하여 일반화된 베이지안 추론(GBI)과의 연결을 가능하게 하는 것.
• MMD와 워샤르스타인 거리와 같은 다재다능한 손실 함수를 활용한 일반화 사후확률을 도입하여 ABC의 계산 효율성과 강건성을 향상시키는 것.
• 일반화 사후확률 ABC 방법이 표준 ABC보다 유효 표본 크기와 안정성 측면에서 더 우수하다는 것을 경험적으로 검증하는 것.

제안 방법

• 커널 폭 $ h $를 강건성 파라미터로 간주하면서, ABC 커널 함수 $ K_h $를 암묵적 측정 오차 모델로 재해석한다.
• 표준 가능도 대신 일반화된 손실 함수를 사용하여 일반화된 베이지안 추론(GBI)을 ABC에 적용함으로써, 시뮬레이터가 오특정되어도 강건한 사후확률 근사가 가능하도록 한다.
• 각 반복에서 다수의 시뮬레이터 샘플을 사용하여 가짜 마진 가능도 추정치를 기반으로 MCMC를 수행함으로써 유효 표본 크기(Ess)를 향상시킨다.
• 부드러운 임계값(st-abc), MMD(k²-abc), 워샤르스타인(w-abc)과 같은 손실 함수를 사용하여 일반화 사후확률을 정의하며, 특히 후자 두 가지가 뛰어난 강건성을 보였다.
• 고정된 계산 예산 하에서 수용률을 약 25%로 유지하고 ESS를 최대화하기 위해 각 MCMC 반복에서 시뮬레이터 샘플 수를 튜닝한다.
• 일반화된 ABC 방법과 표준 ABC의 성능을 비교하기 위해 유효 표본 크기(Ess)와 콜모고로프-스미르노프 검정을 사용한다.

실험 결과

연구 질문

• RQ1 ABC 수락/기각 메커니즘은 암묵적 오차 모델로 재해석될 수 있는가? 이를 통해 일반화된 베이지안 추론과의 연결이 가능할까?
• RQ2 ABC에 일반화 사후확률을 사용할 경우, 시뮬레이터 오특정에 대해 얼마나 강건한가?
• RQ3 동일한 계산 예산 하에서 일반화된 손실(MMD, 워샤르스타인 등)을 사용하는 ABC-MCMC의 상대적 효율성은 표준 ABC보다 어떻게 다를까?
• RQ4 일반화 사후확률 ABC는 모형 오특정 상황에서 표준 ABC와 비슷한 사후확률 근사 성능을 달성하면서도 더 강건한가?

주요 결과

• 150만 번의 시뮬레이터 호출 예산 하에서, 워샤르스타인 손실(w-abc)과 MMD 손실(k²-abc)을 사용하는 ABC-MCMC는 표준 ABC(st-abc)보다 유효 표본 크기(Ess)가 네 배 이상 높았으며, 각각 11,080과 2,723을 기록하였다.
• 일반화 사후확률 ABC 방법은 고도의 오특정 상황에서도 안정된 성능을 유지한 반면, 표준 ABC(st-abc)는 64개의 입자 per 반복을 사용함에도 불구하고 사후분포 분산이 현저히 높았다.
• k²-abc와 w-abc 방법은 모든 오특정 수준에서 st-abc를 능가했으며, 단 한 개의 입자 per 반복을 사용할 때조차도 그러한 성능을 유지했다.
• 두 샘플 콜모고로프-스미르노프 검정 결과, 표준 ABC와 일반화 사후확률 ABC 방법이 생성한 사후분포 간 유의미한 차이가 없었으며, 이는 정확도가 유사하다는 것을 시사한다.
• 손실 평균화는 k²-abc와 w-abc의 효율성을 감소시켰지만, 모든 입자 수에서 st-abc보다 여전히 더 효율적이었으며, 특히 낮은 입자 수에서 두드러진 성능을 보였다.