[논문 리뷰] Coupled Markov chain Monte Carlo for high-dimensional regression with Half-t priors

Niloy Biswas, Anirban Bhattacharya외 2명|arXiv (Cornell University)|2020. 12. 09.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 4

한 줄 요약

이 논문은 높은 차원의 베이지안 회귀에 대해 반타 우선분포를 사용하는 결합 마르코프 체인 몬테카를로(MCMC) 알고리즘을 소개하며, 계산적 확장성과 수렴 진단을 향상시킨다. 이 방법은 100,000개의 공변량을 가진 전장 유전자 연관 연구에서 효율적인 성능을 보이며, 자유도가 1을 초과하는 반타 우선분포가 통계적 내구성과 계산 효율성을 모두 향상시킴을 보여준다.

ABSTRACT

Continuous shrinkage priors are commonly used in Bayesian analysis of high-dimensional data, due to both their computational advantages and favorable statistical properties. We develop coupled Markov chain Monte Carlo (MCMC) algorithms for Bayesian shrinkage regression in high dimensions. Following Glynn & Rhee (2014), these couplings can be used in parallel computation strategies and practical diagnostics of convergence. Focusing on a class of shrinkage priors which includes the Horseshoe, we demonstrate the scalability of the proposed couplings with data from a genome-wide association study with 2000 rows and 100,000 covariates. The results highlight the impact of the shrinkage prior on the computational efficiency of the coupling procedure, and motivate priors where the local precisions are Half-t distributed with degree of freedom larger than one, which are statistically justifiable in terms of posterior concentration, and lead to practical computations.

연구 동기 및 목표

• 연속적인 수축 우선분포를 사용하는 높은 차원의 회귀에 대해 확장 가능한 MCMC 알고리즘을 개발하기 위해.
• Glynn & Rhee(2014)의 영감을 받은 커플링을 사용하여 수렴 진단과 병렬 계산 효율성을 향상시키기 위해.
• 우선분포 선택 — 특히 반타 우선분포 — 이 높은 차원 설정에서 계산 성능에 미치는 영향을 평가하기 위해.
• 대규모 회귀에서 통계적 최적성과 계산 가능성을 균형 잡는 우선분포를 식별하기 위해.

제안 방법

• 베이지안 수축 회귀에 결합 MCMC 기법을 적용하여 병렬 실행과 수렴 모니터링을 가능하게 하였다.
• 말뚝우(허쉬루)를 포함한 수축 우선분포의 클래스를 사용하며, 국소 정밀도 매개변수를 반타 분포에서 추출하였다.
• 유리한 사후 농도 집중과 계산 안정성을 확보하기 위해 자유도가 1을 초과하는 반타 우선분포를 사용하였다.
• 세부 균형을 유지하고 효과적인 수렴 진단을 가능하게 하기 위해 커플링 메커니즘을 설계하였다.
• 2,000명의 샘플과 100,000개의 공변량을 가진 고차원 전장 유전자 연관 연구(GWAS)에 알고리즘을 구현하였다.
• 커플링 구조를 활용하여 몬테카를로 오차를 추정하고 고차원 매개변수 공간에서의 혼합 효율성을 평가하였다.

실험 결과

연구 질문

• RQ1 결합 MCMC는 연속적인 수축 우선분포를 가진 고차원 회귀에 효과적으로 적용될 수 있는가?
• RQ2 반타 우선분포의 자유도는 계산 효율성과 수렴에 어떤 영향을 미치는가?
• RQ3 결합 MCMC는 고차원 베이지안 모델에서 신뢰할 수 있는 수렴 진단을 가능하게 하는가?
• RQ4 자유도가 1을 초과하는 반타 우선분포는 다른 수축 우선분포에 비해 사후 농도 집중과 계산 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 실세계의 고차원 데이터, 예를 들어 GWAS 데이터 세트에서의 확장성은 어떠한가?

주요 결과

• 제안된 결합 MCMC 알고리즘은 100,000개의 공변량과 2,000명의 샘플을 가진 고차원 GWAS 데이터 세트에서 확장 가능한 성능을 달성하였다.
• 자유도가 1을 초과하는 반타 우선분포는 다른 수축 우선분포에 비해 더 뛰어난 계산 효율성을 보였다.
• 커플링 메커니즘이 고차원 설정에서 효과적인 수렴 진단과 병렬 계산을 가능하게 하였다.
• 결합 체인을 통한 실질적 수렴 모니터링을 통해 히우리스틱에 의존하는 것을 줄였다.
• 반타 우선분포의 사후 농도 집중 성질은 통계적으로 타당하며, 고차원 회귀에서의 사용을 지지한다.
• 결과는 우선분포 선택이 고차원 베이지안 추론에서 계산 확장성과 통계적 신뢰성에 모두 중요한 영향을 미친다는 것을 확인하였다.