[논문 리뷰] Using deterministic approximations to accelerate SMC for posterior sampling

Sophie Donnet, Stéphane Robin|arXiv (Cornell University)|2017. 07. 25.

Bayesian Methods and Mixture Models참고 문헌 2인용 수 3

한 줄 요약

이 논문은 사전 분포가 아닌 결정론적 사후 근사(예: 변분 베이즈)에서 시작함으로써 사후 표본 추출을 가속화하는 새로운 순차 몽테카를로(SMC) 방법인 Shortened Bridge Sampler(SBS)를 제안한다. SBS는 근사 사후분포와 진짜 사후분포 사이의 다이내믹한 브리지 시퀀스를 구성함으로써 변분 근사에서의 과소분산 문제를 수정하여 더 정확한 사후 분산과 향상된 통계적 추론을 가능하게 한다. 네트워크 모델에서의 실험을 통해 SBS는 VB보다 더 높은 불확실성을 드러내어 더 정확한 결과를 제공함을 입증하였다.

ABSTRACT

Sequential Monte Carlo has become a standard tool for Bayesian Inference of complex models. This approach can be computationally demanding, especially when initialized from the prior distribution. On the other hand, deter-ministic approximations of the posterior distribution are often available with no theoretical guaranties. We propose a bridge sampling scheme starting from such a deterministic approximation of the posterior distribution and targeting the true one. The resulting Shortened Bridge Sampler (SBS) relies on a sequence of distributions that is determined in an adaptive way. We illustrate the robustness and the efficiency of the methodology on a large simulation study. When applied to network datasets, SBS inference leads to different statistical conclusions from the one supplied by the standard variational Bayes approximation.

연구 동기 및 목표

• 높은 차원 또는 다모달 사후분포에서 사전 분포에서 시작하는 전통적인 SMC 방법의 계산 부담을 완화하기 위해.
• 변분 베이즈(VB) 근사에서 잘 알려진 사후 분산 과소평가 문제를 수정하여 잘못된 추론을 방지하기 위해.
• 정확도를 희생시키지 않고 수렴 속도를 가속화하기 위해 결정론적 근사를 시작점으로 활용하는 강력하고 적응형 SMC 프레임워크를 개발하기 위해.
• 완전한 사후분포 탐색이 계산적으로 비현실적인 복잡한 베이지안 모델에 대해 MCMC와 전통적인 SMC의 실용적이고 효율적인 대안을 제공하기 위해.

제안 방법

• 진짜 사후분포로의 전이를 위해 온도 조절된 분포 시퀀스를 사용하는 브리지 샘플링 기반의 방법을 제안한다.
• SBC 과정 중에 동적으로 조정되는 $ \rho_h $ 를 사용하여 $ \widetilde{p}_{\boldsymbol{Y}}^{1-\rho_h}(p(\theta|\boldsymbol{Y}))^{\rho_h} $ 형태의 적응형 분포 시퀀스를 구성한다.
• 재표본화를 포함한 순차 중요도 샘플링을 통해 입자들을 근사 사후분포에서 진짜 사후분포로 전파함으로써 최종 샘플이 정확한 사후분포에서 유도되도록 보장한다.
• 초기 근사의 품질에 기반한 경로 탐색 전략을 적용하여 $ \rho_h $ 값을 탐색과 효율성의 균형을 이루도록 선택한다.
• 사용자 조정을 줄이고 강건성을 향상시키기 위해 SMC 알고리즘을 자동으로 $ \rho_h $ 시퀀스를 결정하도록 적응시킨다.
• 결정론적 근사를 사전이 아닌 제안 분포로 간주함으로써 경험 베이즈의 문제를 피하고, 무시된 매개변수 의존성과 같은 구조적 잘못된 특정화를 수정할 수 있다.

실험 결과

연구 질문

• RQ1 결정론적 사후 근사를 사용하여 SMC 샘플링을 가속화하면서도 최종 사후 샘플의 정확도를 손상시키지 않을 수 있는가?
• RQ2 SBS 방법은 변분 베이즈 근사에서 흔히 관찰되는 사후 분산 과소평가 문제를 어떻게 수정하는가?
• RQ3 초기 결정론적 근사에서 간과된 매개변수 간 의존성은 SBS 방법이 어느 정도 복원하는가?
• RQ4 복잡한 모델에서 SBS의 계산 효율성과 통계적 정확도 측면에서 표준 SMC 및 변분 베이즈와의 성능를 어떻게 비교할 수 있는가?
• RQ5 적응형 온도 매개변수 $ \rho_h $ 시퀀스는 수렴성과 강건성을 보장하기 위해 실시간으로 신뢰성 있게 결정될 수 있는가?

주요 결과

• Tree 네트워크 데이터셋에서 SBS의 사후 표준편차는 VB의 거의 두 배에 달하여 과소분산 문제에 대한 상당한 보정이 이루어졌음을 나타낸다.
• 유전적 거리에 대한 회귀 계수 $ \beta_1 $ 에서, 사후 표준편차는 VB의 1.5e-05 에서 SBS의 3.31e-05 로 증가하여 유의미성 비율이 3.09 에서 1.25 로 감소하였다.
• Tree 예제에서 지리적 거리에 대한 $ \beta_2 $ 의 사후 표준편차는 VB의 0.208 에서 SBS의 0.47 로 증가하여 유의미성 비율이 1.11 에서 0.755 로 감소하였다.
• 한 개의 클러스터를 가진 SBM-reg 모델에서, 대부분의 경우(VB와 SBS 간의 후행 확률은 거의 동일했다(예: 결혼, 사업)), 하지만 카라테와 트리와 같은 불확실한 경우에서 극명하게 다릅니다.
• Tree 모델에서 SBS는 후행 확률을 $ 1.06 \times 10^{-161} $ 으로 추정한 반면, VB는 $ 4.83 \times 10^{-153} $ 을 제공하여 SBS가 잔여 구조를 탐지하는 데 더 보수적인 경향을 보임을 보여주었다.
• SBS 알고리즘은 초기 VB 근사에서 간과된 매개변수 간 의존성을 성공적으로 복원하였으며, 이는 증가한 사후 분산과 변화된 유의미성 수준을 통해 뒷받침된다.