[논문 리뷰] Dimension-free Mixing for High-dimensional Bayesian Variable Selection

Quan Zhou, Jun Yang외 3명|arXiv (Cornell University)|2021. 05. 12.

Markov Chains and Monte Carlo Methods참고 문헌 50인용 수 4

한 줄 요약

이 논문은 고차원 베이지안 변수 선택을 위한 새로운 지능형 메트로폴리스-해스팅스 MCMC 샘플러인 LIT-MH를 제안한다. 이 방법은 국소적 지능형 및 임계값 설정된 제안 분포를 사용하여 차원에 영향을 받지 않는 혼합 성능(즉, 혼합 시간이 공변수의 수 $p$와 무관함)을 달성한다. 온화한 고차원 가정 하에서, 이 방법은 무지식한 샘플러보다 더 빠른 혼합 성능를 보이며, 국소적 사후 분포 평가의 계산 비용을 정당화한다.

ABSTRACT

Yang et al. (2016) proved that the symmetric random walk Metropolis--Hastings algorithm for Bayesian variable selection is rapidly mixing under mild high-dimensional assumptions. We propose a novel MCMC sampler using an informed proposal scheme, which we prove achieves a much faster mixing time that is independent of the number of covariates, under the same assumptions. To the best of our knowledge, this is the first high-dimensional result which rigorously shows that the mixing rate of informed MCMC methods can be fast enough to offset the computational cost of local posterior evaluation. Motivated by the theoretical analysis of our sampler, we further propose a new approach called "two-stage drift condition" to studying convergence rates of Markov chains on general state spaces, which can be useful for obtaining tight complexity bounds in high-dimensional settings. The practical advantages of our algorithm are illustrated by both simulation studies and real data analysis.

연구 동기 및 목표

• 고차원 베이지안 변수 선택에서 MCMC를 사용할 때 공변수의 수 $p$가 클 경우 발생하는 느린 혼합 문제를 해결하기 위해.
• 지능형 MCMC 방법이 반복당 더 높은 계산 비용을 지불하더라도 충분히 빠른 혼합 속도를 확보할 수 있음을 엄밀하게 입증하기 위해.
• 고차원 설정에서 마르코프 체인의 수렴 속도를 분석하기 위한 새로운 이론적 프레임워크인 '이중단계 드리프트 조건'을 개발하기 위해.
• 국소적 사후 정보를 활용하면서도 차원에 따라 혼합 속도가 느려지는 일 없이 실용적이고 효율적인 MCMC 샘플러를 설계하기 위해.
• 기존의 지능형 샘플러가 종종 낮은 혼합 성능나 강력한 가정을 필요로 하는 것과 대비하여, 이론적으로 탄탄하고 차원에 영향을 받지 않는 대안을 제공하기 위해.

제안 방법

• 제안 분포의 확률을 국소적 사후 밀도 비율 $\pi_n(\gamma')/\pi_n(\gamma)$에 기반하여 가중치를 주기 위해 균형 함수 $f(b) = \sqrt{b}$를 사용하는 LIT-MH(Locally Informed and Thresholded Metropolis-Hastings)를 제안한다.
• 극단적인 사후 비율 값을 잘라내어 제안 분포를 안정화시키는 임계값 설정 제안 메커니즘을 도입하여 수치적 안정성과 혼합 성능를 향상시킨다.
• 차원에 영향을 받지 않는 혼합 성능를 증명하기 위해 일반 상태 공간에서 수렴 속도를 경계하는 데 사용할 수 있는 새로운 이론적 도구인 '이중단계 드리프트 조건'을 사용한다.
• 이웃 영역 $\mathcal{N}_1(\gamma)$ 내에서의 추가-삭제-교환 이동을 사용하며, 제안 가중치는 국소적 사후 밀도 비율에서 유도된다.
• 무한대에 가까운 사후 비율로 인한 수치적 불안정성을 방지하기 위해 제안 커널 $\mathbf{K}_{\text{lb}}$의 '안정화된' 버전 $\tilde{\mathbf{K}}_{\text{lb}}$를 적용한다.
• 이론적 분석 결과, Yang 등(2016)의 가정 하에서 LIT-MH의 혼합 시간은 표준 랜덤 워크 MH와 달리 $p$에 영향을 받지 않음을 입증하였다.

실험 결과

연구 질문

• RQ1 지능형 MCMC 샘플러가 고차원 변수 선택에서 공변수의 수 $p$에 영향을 받지 않는 혼합 시간을 달성할 수 있는가?
• RQ2 국소적 사후 밀도 평가의 계산 비용이 고차원 설정에서 충분히 빠른 혼합 속도로 인해 정당화될 수 있는가?
• RQ3 고차원 마르코프 체인 분석에서 엄밀한 수렴 경계를 확립하기 위해 '이중단계 드리프트 조건'이라는 새로운 이론적 프레임워크를 개발할 수 있는가?
• RQ4 유사한 설계 원칙을 가진 일부 지능형 제안 체계(예: LB-MH-1)가 실무에서 다른 것들보다 더 잘 작동하는 이유는 무엇인가?
• RQ5 LIT-MH는 온도 조절 기반 깁스 또는 ASI와 같은 기존의 지능형 샘플러와 비교해 혼합 속도와 내성 면에서 어떻게 다른가?

주요 결과

• LIT-MH는 공변수의 수 $p$에 영향을 받지 않는 혼합 시간을 달성하여, 일반적인 고차원 설정에서 지능형 MCMC 방법 중에서 처음으로 이 결과를 이룬다.
• 이론적 분석에서 고차원 상태 공간에서 수렴 속도 경계를 더 견고하게 만들 수 있도록 새로운 '이중단계 드리프트 조건'을 도입하였다.
• 시뮬레이션 연구 결과, LIT-MH는 다모달 사후 분포 상황에서도 무지식한 랜덤 워크 메트로폴리스-해스팅스 알고리즘보다 뚜렷이 뛰어난 성능를 보였다.
• 안정화된 제안 버전 $\tilde{\mathbf{K}}_{\text{lb}}$는 수치적으로 더 안정적이며, 실무에서는 원래 $\mathbf{K}_{\text{lb}}$보다 항상 우수한 성능를 보였다.
• LB-MH-1는 추가 및 삭제 이동의 가중치를 별도로 처리함으로써, 신호 대 잡음 비율이 충분할 경우 낮은 확률 모델에 갇히는 것을 방지한다.
• LIT-MH는 적응 조정이나 병렬 체인을 요구하지 않으며, 온도 조절 또는 블로킹 전략과의 통합이 용이하다.