[논문 리뷰] Validating Bayesian Inference Algorithms with Simulation-Based Calibration

Sean Talts, Michael Betancourt외 3명|arXiv (Cornell University)|2018. 04. 18.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 220

한 줄 요약

본 논문은 Simulation-Based Calibration (SBC)을 도입하여 사전(priors)과 사후분포(posterior)의 순위(rank) 통계가 균일 분포하는지 확인함으로써 베이지안 추론 알고리즘의 타당성을 검증하고, 모델의 잘못된 사양이나 알고리즘 실패를 탐지하는 데 도움을 준다.

ABSTRACT

Verifying the correctness of Bayesian computation is challenging. This is especially true for complex models that are common in practice, as these require sophisticated model implementations and algorithms. In this paper we introduce \emph{simulation-based calibration} (SBC), a general procedure for validating inferences from Bayesian algorithms capable of generating posterior samples. This procedure not only identifies inaccurate computation and inconsistencies in model implementations but also provides graphical summaries that can indicate the nature of the problems that arise. We argue that SBC is a critical part of a robust Bayesian workflow, as well as being a useful tool for those developing computational algorithms and statistical software.

연구 동기 및 목표

• 단일 실행 결과를 넘어 베이지안 계산의 유효성을 검증할 필요성에 대한 동기를 부여한다.
• 사후 샘플을 생성하는 모든 샘플러에 대해 일반적이고 데이터에 의존하지 않는 검증 도구로 SBC를 제안한다.
• SBC가 베이지안 결합 분포를 활용하여 구현 또는 계산 오류를 검출하는 방법을 설명한다.
• SBC 출력 해석 및 강건한 베이지안 워크플로우에 SBC를 통합하는 방법에 대한 지침을 제공한다.

제안 방법

• 사전으로부터 샘플링하고 모델로부터 데이터를 샘플링하여 베이지안 결합 분포와 자기일관성 기준치를 정의한다.
• 매개변수의 1차원 기능적의 순위 통계를 사후 샘플에 상대적으로 사용하여, 올바른 계산 하에서 균일하게 될 것으로 기대되는 히스토그램을 형성한다(정리 1/Theorem 1).
• 복제된 시뮬레이션 데이터세트에 걸쳐 순위 통계의 SBC 히스토그램을 생성하는 알고리즘 1을 개발한다.
• 후방 샘플의 자기상관을 희석(thinning) 및 유효 샘플 크기(Eff. sample size) 조정을 통해 다룬다(알고리즘 2).
• SBC 히스토그램의 편차가 사후 계산의 과대/과소 분산 및 바이어스에 어떻게 매핑되는지(시각적 진단) 설명한다.
• 작은 편차에 대한 확장 및 대안 시각화(ECDF, 구획화 전략)에 대해 논의한다.

실험 결과

연구 질문

• RQ1 SBC가 베이지안 분석이 잘못 사양되었거나 잘못 구현되었을 때를 감지할 수 있는가?
• RQ2 SBC 히스토그램의 편차가 특정 재교정 실패(예: 잘못 사양된 사전, 편향된 MCMC, 근사 추론 방법)와 어떻게 관련되는가?
• RQ3 실무에서 MCMC의 상관된 사후 샘플과 작은 편차에 SBC를 어떻게 적용해 적응시킬 수 있는가?
• RQ4 사후 예측 검사와 함께 강건한 베이지안 워크플로우 내에서 SBC의 역할은 무엇인가?
• RQ5 대표 모델들에 걸쳐 HMC, ADVI, INLA 등 다양한 추론 기술이 SBC 하에서 어떤 성능을 보이는가?

주요 결과

• SBC는 데이터 생성에 사용된 사전과 다른 사전을 사용하는 것과 같은 잘못된 사양을 드러내며, 특징적인 비균일 순위 히스토그램을 생성한다.
• SBC는 MCMC 방법에서 편향되었거나 자기상관이 있는 사후 샘플을 탐지하며, 다양한 실패 하에서 뚜렷한 히스토그램 형태(예: cap, cup)로 나타난다.
• ADVI는 사후 분산 추정의 과소/과대 추정으로 실패할 수 있으며, SBC 히스토그램을 통해 확인 가능하다.
• INLA는 공간적 질병 유병 모델에서 약간의 편향을 보이며 SBC로 탐지된다.
• 희석(thinning) 및 유효 샘플 크기 조정은 자기상관 효과를 완화하고 많은 경우 SBC의 해석 가능성을 회복한다.
• SBC는 알고리즘 및 모델 구현 문제에 대해 실행 가능한 통찰을 제공하고, 강건한 베이지안 워크플로우에서 PPC를 보완한다.