[논문 리뷰] Detecting and diagnosing prior and likelihood sensitivity with power-scaling

Noa Kallioinen, Topi Paananen외 2명|arXiv (Cornell University)|2021. 07. 29.

Statistical Methods and Bayesian Inference참고 문헌 39인용 수 10

한 줄 요약

이 논문은 MCMC 워크플로우에 쉽게 통합될 수 있도록, 사전분포와 우도에 대한 파wr-스케일링을 사용한 계산적으로 효율적인 베이지안 모델을 위한 민감도 분석 방법을 제안한다. 이 방법은 PSIS 기반 중요도 샘플링을 통해 사전-자료 갈등과 우도의 비정보성 문제를 신속하게 탐지할 수 있으며, 기존의 MCMC 결과를 재사용함으로써 모델 재적합이 필요 없이 빠른 진단이 가능하다. 이는 R 패키지 priorsense에 구현되어 있으며, 최소한의 코드 수정으로 자동 진단 기능을 제공한다.

ABSTRACT

Determining the sensitivity of the posterior to perturbations of the prior and likelihood is an important part of the Bayesian workflow. We introduce a practical and computationally efficient sensitivity analysis approach using importance sampling to estimate properties of posteriors resulting from power-scaling the prior or likelihood. On this basis, we suggest a diagnostic that can indicate the presence of prior-data conflict or likelihood noninformativity and discuss limitations to this power-scaling approach. The approach can be easily included in Bayesian workflows with minimal effort by the model builder and we present an implementation in our new R package priorsense. We further demonstrate the workflow on case studies of real data using models varying in complexity from simple linear models to Gaussian process models.

연구 동기 및 목표

• 기존 워크플로우에 최소한의 변경을 요구하면서도 계산적으로 효율적인 베이지안 모델을 위한 민감도 분석 방법을 개발하는 것.
• 사전분포와 우도에 대한 파워-스케일링을 통해 사전-자료 갈등과 우도의 비정보성을 탐지하는 것.
• PSIS 기반 중요도 샘플링을 사용하여 자동으로 진단을 제공하고, 신뢰성에 대한 자가 보고 기능을 갖춘 것.
• Stan, PyMC, brms, rstanarm 등의 확률 프로그래밍 도구 및 고수준 인터페이스에 통합하여 광범위한 도입을 가능하게 하는 것.
• 반복적인 모델 재적합 없이도 모델 설계자가 의도치 않게 잘못 지정된 사전분포를 식별할 수 있도록 지원하는 것.

제안 방법

• α > 0 인 지수를 사용해 사전분포 또는 우도를 파워-스케일링하여 변형된 사후분포를 생성한다.
• 기존 MCMC 샘플에서 재적합 없이도 파레토 스무딩 중요도 샘플링(PSIS)을 사용해 사후분포의 특성을 추정한다.
• 기본 사후분포와 변형된 사후분포 사이의 누적 제논-섀넌 발산의 α에 대한 도함수를 민감도 진단 지표로 계산한다.
• 이 진단 지표를 사용해 사전분포 민감도(예: 사전-자료 갈등)와 우도 민감도(예: 비정보성)를 탐지한다.
• Stan, PyMC, brms, rstanarm, bambi 워크플로우에 통합된 R 패키지 priorsense에 이 방법을 구현한다.
• 민감도 추정치의 불확실성을 평가하기 위해 몬테카를로 표준오차를 사용한다.

실험 결과

연구 질문

• RQ1 MCMC 기반의 베이지안 워크플로우에서 사전분포와 우도의 민감도는 어떻게 효율적으로 탐지할 수 있는가?
• RQ2 파워-스케일링과 PSIS를 조합하면 사전-자료 갈등과 우도의 비정보성을 신뢰성 있고 자동으로 진단할 수 있는가?
• RQ3 완전한 모델 재적합과 비교해 볼 때 제안된 방법은 얼마나 계산 비용을 절감하는가?
• RQ4 실제 모델, 특히 복잡한 가우시안 프로세스 모델에서 예상치 못한 민감도 패턴을 얼마나 잘 탐지하는가?
• RQ5 의도치 않게 잘못 지정되거나 지나치게 영향력이 큰 사전분포를 신뢰성 있게 경고할 수 있는가?

주요 결과

• 파워-스케일링에 의해 유도된 사후분포의 변화를 통해 사전-자료 갈등과 우도의 비정보성을 탐지할 수 있으며, 실용적 해석을 위해 민감도 임계값을 0.05로 설정하였다.
• 코로나19 사례 연구에서 독일, 이탈리아, 영국의 사전민감도가 사후 예측에서 0.05를 초과했으며, 특히 κ 사전분포에서 모델의 불안정성을 시사하였다.
• 이 방법은 높은 계산 효율성을 달성하여, 기존 MCMC 샘플을 사용해 민감도 진단을 몇 초 내에 수행했으며, 비용이 많이 드는 모델 재적합을 피할 수 있었다.
• PSIS 기반 중요도 샘플링은 신뢰할 수 있는 추정치를 제공했고, 추정치가 신뢰할 수 없을 경우 자가 진단 경고를 제공하여 강건성을 향상시켰다.
• 이 방법은 가우시안 프로세스 모델에서 τ에 대한 사전분포가 매우 민감하다는 것을 성공적으로 식별하여, 더 신중한 지정이 필요함을 시사하였다.
• 기존의 베이지안 모델링 워크플로우에 원활하게 통합되었으며, 최소한의 코드 수정으로 구현되었고, 즉시 사용 가능한 priorsense R 패키지로 제공된다.