[논문 리뷰] An approach to large-scale Quasi-Bayesian inference with spike-and-slab priors

Yves F. Atchadé, Anwesha Bhattacharyya|arXiv (Cornell University)|2018. 03. 27.

Bayesian Methods and Mixture Models참고 문헌 62인용 수 6

한 줄 요약

이 논문은 고차원 설정에서 효율적인 MCMC 및 변분 추론을 가능하게 하는 스케일러블한 준베이지안 추론 프레임워크를 제안한다. 이는 스파이크-슬래브 사전분포와 함께 새로운 스파arsity 트릭을 적용한 준우도 함수를 사용한다. 주요 기여는 후행 수축과 변분 근사 정확도에 대한 이론적 보장이며, 이는 가우시안 그래픽 모델과 희소 주성분 분석에서 검증되었다.

ABSTRACT

We propose a general framework using spike-and-slab prior distributions to aid with the development of high-dimensional Bayesian inference. Our framework allows inference with a general quasi-likelihood function. We show that highly efficient and scalable Markov Chain Monte Carlo (MCMC) algorithms can be easily constructed to sample from the resulting quasi-posterior distributions. We study the large scale behavior of the resulting quasi-posterior distributions as the dimension of the parameter space grows, and we establish several convergence results. In large-scale applications where computational speed is important, variational approximation methods are often used to approximate posterior distributions. We show that the contraction behaviors of the quasi-posterior distributions can be exploited to provide theoretical guarantees for their variational approximations. We illustrate the theory with some simulation results from Gaussian graphical models, and sparse principal component analysis.

연구 동기 및 목표

• 고차원 베이지안 추론에서 점질량 스파이크-슬래브 사전분포의 계산 불가능성을 해결하기 위해 점질량을 소규모 분산을 가진 가우시안 분포로 대체한다.
• 표준 우도 이외의 상황에도 적용 가능한 탄력적인 준우도 함수를 사용하여 대규모 준베이지안 추론을 위한 일반적인 프레임워크를 개발한다.
• 차원 수가 증가함에 따라 유도된 준우도 분포의 이론적 수렴 결과를 확립한다.
• 후행 수축 행동을 활용하여 변분 근사의 이론적 타당성을 제시한다.
• 가우시안 그래픽 모델과 희소 주성분 분석에서의 시뮬레이션을 통해 스케일러비리티와 정확도를 입증한다.

제안 방법

• 스파이크-슬래브 사전분포를 사용하며, 활성 변수(δⱼ = 1)에는 슬래브(정밀도 ρ₁), 비활성 변수(δⱼ = 0)에는 스파이크(정밀도 ρ₀ → 0)를 사용한다. 점질량을 소규모 분산을 가진 가우시안으로 대체한다.
• 후행 분포에 스파arsity가 적용된 준우도 함수 ℓ(θ₆; z)를 도입한다. 여기서 θ₆는 θ와 δ의 성분별 곱이다. 이는 통계적 성능을 향상시키면서도 계산 속도를 유지한다.
• δ와 θ를 조건부로 갱신하는 스케일러블한 깁스 샘플러를 구성한다. 정규분포 및 베르누이 제안을 사용하며, 메트로폴리스-하스팅스 보정을 적용한다.
• 의사-분산 템플릿을 사용한 변분 근사(VA) 알고리즘을 개발한다. α(포함 확률), μ(평균), C(공분산)에 대한 갱신을 수행하며, 고정된 지지 집합 템플릿 δ^(i)를 활용한다.
• 버르슈타인-폰 마이제스 근사법을 사용하여 후행 분포의 점근적 정규성을 정당화하고, 변분 근사 일致성에 기여한다.
• 스파arsity 트릭을 활용하여 MCMC의 계산 비용을 줄인다. 이는 우도 평가 시 활성 변수들에만 집중함으로써 가능하다.

실험 결과

연구 질문

• RQ1 스파이크-슬래브 사전분포와 함께 스파arsity가 적용된 준우도 함수는 고차원 모델에서 더 빠르고 스케일러블한 MCMC 샘플링을 가능하게 하는가?
• RQ2 준우도 분포가 참 희소 매개변수와 그 지지 집합 주위에 어떻게 집중하는가?
• RQ3 후행 수축 속도는 고차원 설정에서 변분 근사의 정확도를 어떻게 정당화하는가?
• RQ4 제안된 프레임워크는 스케일러블한 계산을 가능하게 하면서도 최적의 빈도주의 성질(예: 변수 선택 일관성)을 유지하는가?
• RQ5 실제 모델인 가우시안 그래픽 모델과 희소 주성분 분석에서 제안된 MCMC 및 변분 알고리즘이 계산 효율성과 추정 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 준우도 함수에 적용된 스파arsity 트릭은 우도 평가에서 활성 변수의 수를 줄여 MCMC 계산을 크게 가속화한다.
• 이론적 결과에 따르면, 강한 신호 조건 하에서 준우도 분포가 참 매개변수 (δ⋆, θ⋆) 주위에 거의 최적의 속도로 수렴한다.
• 후행 수축 속도를 활용하여 진짜 후행 분포와 그 변분 근사 간의 쿨백-라이블러 발산에 대한 비점근적 경계를 유도한다.
• 변분 근사는 지지 집합과 매개변수 값의 일관된 추정을 달성하며, 미약한 정규성 조건 하에서 참 후행 분포와 동일한 수렴 속도를 보인다.
• 가우시안 그래픽 모델과 희소 주성분 분석에서의 시뮬레이션 결과, 제안된 MCMC 및 변분 알고리즘이 고차원 영역에서도 높은 정확도와 계산 효율성을 달성한다.
• 차원 수 p가 증가함에 따라 후행 질량이 참 지지 집합 δ⋆ 주위에 집중되며, 거의 최적의 변수 선택 성능을 달성한다.