[논문 리뷰] Asymptotics of cut distributions and robust modular inference using Posterior Bootstrap

Emilia Pompe, Kasprzak, Mikołaj J.외 1명|ArXiv.org|2021. 10. 21.

Statistical Methods and Bayesian Inference참고 문헌 49인용 수 6

한 줄 요약

이 논문은 모듈러 베이지안 추론에서 컷 분포에 대한 점근적 이론을 개발하며, 표준 신뢰역이 올바른 빈도주의 커버리지가 없음을 보여준다. 이는 병렬화 가능한 수치 최적화를 통해 명목상의 빈도주의 커버리지가 보장되는 신뢰구간을 생성하는 Posterior Bootstrap 기반 알고리즘을 제안한다.

ABSTRACT

Bayesian inference provides a framework to combine various model components with shared parameters, allowing joint uncertainty estimation and the use of all available data sources. Unfortunately, misspecification of any part of the model might propagate to all other parts and can lead to unsatisfactory results. Cut distributions have been proposed as a remedy, where the information is prevented from flowing along certain directions. We study cut distributions from an asymptotic perspective and obtain a Bernstein-von Mises theorem, as well as a Laplace approximation with quantitative bounds. We then propose an algorithm based on the Posterior Bootstrap that delivers credible regions with the nominal frequentist asymptotic coverage. The proposed methods are illustrated with numerical experiments in a variety of examples, including causal inference with propensity scores.

연구 동기 및 목표

• 모듈러 베이지안 모델에서 컷 분포로부터 유도된 신뢰역의 빈도주의 커버리지 부족 문제를 해결한다.
• 정보가 잘못된 모듈에서 신뢰할 수 있는 모듈로 흐르는 것을 방지하는 강건하고 모듈러한 추론 프레임워크를 제공한다.
• 정확한 점근적 빈도주의 커버리지가 보장되는 신뢰역을 구성하기 위한 계산 효율적인 방법을 개발한다.
• 고차원 또는 복잡한 모듈러 모델에서 병렬화 가능한 수치 최적화를 통해 확장 가능한 추론을 가능하게 한다.
• 모델의 잘못된 특정화가 흔한 분야인 인과추론, 역학, PK/PD 모델링에서 방법의 유용성을 입증한다.

제안 방법

• 라플라스 근사법을 사용해 컷 사후분포의 점근적 전개를 유도하고, 표준 신뢰역에서 발생하는 편향을 규명한다.
• 커버리지 왜곡을 보정하기 위해 사후 표본을 재가중하는 Posterior Bootstrap 알고리즘을 제안한다.
• 수치 최적화를 통해 사후 부스터랩 가중치를 계산하여 각 모듈 간에 완전히 병렬화 가능한 계산을 가능하게 한다.
• 모델의 잘못된 특정화 하에서 두 번째 모듈의 예측분포를 추정하기 위해 방법을 적용하고 피드백 편향을 보정한다.
• 점근적 영역에서 Posterior Bootstrap와 진짜 컷 사후분포 사이의 이론적 동치성을 확립한다.
• 클룰바크-라이블러 발산 전개를 사용해 베이지안 모듈러 추론과 Posterior Bootstrap의 예측 성능을 비교한다.

Figure 1 : Density contours, corresponding to the 95% mass region, for samples obtained using PBMI (Algorithm 1 and Algorithm 2 ) and Bayesian modular inference for model ( 18 ). We considered three settings, depending on the choice of $\rho$ and $\sigma^{2}$ in the data-generating mechanism. Each p

실험 결과

연구 질문

• RQ1 왜 표준 컷 분포는 모듈러 베이지안 추론에서 정확한 빈도주의 커버리지를 확보하지 못하는가?
• RQ2 Posterior Bootstrap 기반 방법은 컷 분포의 신뢰역 커버리지 부족 문제를 보정할 수 있는가?
• RQ3 예측 정확도 측면에서 Posterior Bootstrap는 표준 베이지안 모듈러 추론보다 어떻게 성능을 발휘하는가?
• RQ4 모델의 잘못된 특정화 하에서 Posterior Bootstrap의 점근적 행동은 어떠한가?
• RQ5 제안된 방법은 대규모 모듈러 모델에서 효율적으로 병렬로 구현할 수 있는가?

주요 결과

• 표준 컷 분포는 라플라스 근사에서 발생하는 편향으로 인해 잘못된 빈도주의 커버리지의 신뢰역을 제공한다.
• Posterior Bootstrap 방법은 사후분포 분산 구조를 보정함으로써 점근적으로 정확한 빈도주의 커버리지의 신뢰역을 생성한다.
• 이 방법은 각 모듈당 독립적인 최적화 문제를 푸는 방식이므로 완전한 병렬화가 가능하다.
• 분산이 $\sigma^2 = 1$인 잘못된 정규모델에서 Posterior Bootstrap는 KL 발산의 트레이스 항을 -0.25에서 -0.21으로 줄여 예측 성능을 향상시킨다.
• $\sigma^2 = 2$일 경우, Posterior Bootstrap는 트레이스 값을 -0.36로 도달하여 표준 베이지안 접근법보다 예측 정확도에서 뛰어난 성능을 보인다.
• 이론적 전개 결과, Posterior Bootstrap는 진짜 컷 사후분포의 점근적 행동을 $o(n^{-1})$ 항까지 일치시킴을 보여준다.

Figure 2 : Boxplots of elpd values obtained for model ( 19 ). Each plot is based on 50 datasets generated with $\sigma_{1}^{2}=1$ , $\sigma_{2}^{2}=0.5$ , $n_{2}$ presented on the $x$ -axis and $n_{1}=n_{2}/10$ . We use $N=2000$ samples drawn using each method.