[논문 리뷰] Scalable Bayesian shrinkage and uncertainty quantification in high-dimensional regression

Bala Rajaratnam, Doug Sparks외 2명|arXiv (Cornell University)|2017. 03. 27.

Statistical Methods and Inference참고 문헌 39인용 수 4

한 줄 요약

이 논문은 고차원 회귀에서 베이지안 수축을 위한 새로운 이단계 블록형 깁스 샘플러를 제안하며, 표준 삼단계 깁스 샘플러에 비해 수렴 속도를 크게 향상시킨다. 이 방법은 기하학적 에르고딕성과 트레이스 클래스 마르코프 연산자를 보장하여 더 빠른 불확실성 정량화와 샌드위치 알고리즘과의 엄밀한 이론적 비교를 가능하게 한다.

ABSTRACT

Bayesian shrinkage methods have generated a lot of recent interest as tools for high-dimensional regression and model selection. These methods naturally facilitate tractable uncertainty quantification and incorporation of prior information. A common feature of these models, including the Bayesian lasso, global-local shrinkage priors, and spike-and-slab priors is that the corresponding priors on the regression coefficients can be expressed as scale mixture of normals. While the three-step Gibbs sampler used to sample from the often intractable associated posterior density has been shown to be geometrically ergodic for several of these models (Khare and Hobert, 2013; Pal and Khare, 2014), it has been demonstrated recently that convergence of this sampler can still be quite slow in modern high-dimensional settings despite this apparent theoretical safeguard. We propose a new method to draw from the same posterior via a tractable two-step blocked Gibbs sampler. We demonstrate that our proposed two-step blocked sampler exhibits vastly superior convergence behavior compared to the original three- step sampler in high-dimensional regimes on both real and simulated data. We also provide a detailed theoretical underpinning to the new method in the context of the Bayesian lasso. First, we derive explicit upper bounds for the (geometric) rate of convergence. Furthermore, we demonstrate theoretically that while the original Bayesian lasso chain is not Hilbert-Schmidt, the proposed chain is trace class (and hence Hilbert-Schmidt). The trace class property has useful theoretical and practical implications. It implies that the corresponding Markov operator is compact, and its eigenvalues are summable. It also facilitates a rigorous comparison of the two-step blocked chain with "sandwich" algorithms which aim to improve performance of the two-step chain by inserting an inexpensive extra step.

연구 동기 및 목표

• 기하학적 에르고딕성은 확보되었지만 고차원 베이지안 수축 모형에서 표준 삼단계 깁스 샘플러의 느린 수렴 문제를 해결하기 위해.
• 동일한 사후 분포를 유지하면서 고차원 설정에서 혼합 속도를 가속화하는 더 효율적인 샘플링 알고리즘을 개발하기 위해.
• 새로운 샘플러에 대한 이론적 기반을 제공하며, 수렴 속도의 경계와 연산자 클래스 성질을 포함하기 위해.
• 새로운 체인이 트레이스 클래스임을 입증함으로써 샌드위치 알고리즘과의 엄밀한 비교를 가능하게 하기 위해.
• 모의 및 실제 고차원 데이터에서의 우수한 경험적 성능을 입증하기 위해.

제안 방법

• 변수 그룹화를 보다 효과적으로 하여 혼합 속도를 향상시키기 위해 조건부 갱신을 재구성한 이단계 블록형 깁스 샘플러를 제안한다.
• 새로운 샘플러를 사용한 베이지안 라소의 기하 수렴 속도에 대한 명시적 상한을 도출한다.
• 새로운 마르코프 체인이 트레이스 클래스임(따라서 힐베르트-슈미트임)을 입증하며, 이는 컴act성과 합수 가능한 고유값을 의미한다.
• 트레이스 클래스 성질을 활용하여 성능 향상을 위해 보조 단계를 삽입하는 샌드위치 알고리즘과의 이론적 비교를 가능하게 한다.
• 스케일 혼합 정규분포 표현을 활용하여 글로벌-로컬 사전분포와 스파이크-슬러브 사전분포에 적용한다.
• 마르코프 체인 이론의 이론적 도구, 특히 마르코프 연산자의 스펙트럼 성질을 사용하여 수렴 행동을 분석한다.

실험 결과

연구 질문

• RQ1 고차원 베이지안 수축 모형에서 표준 삼단계 샘플러에 비해 이단계 블록형 깁스 샘플러가 더 빠른 수렴을 달성할 수 있는가?
• RQ2 제안된 이단계 샘플러의 이론적 수렴 속도는 무엇이며, 원래 체인과 비교해 볼 때 어떻게 되는가?
• RQ3 제안된 마르코프 체인이 트레이스 클래스인가? 이는 스펙트럼 성질과 이론적 분석에 어떤 영향을 미치는가?
• RQ4 새로운 체인의 트레이스 클래스 성질은 샌드위치 알고리즘과의 엄밀한 비교를 어떻게 가능하게 하는가?
• RQ5 실제 및 모의 고차원 데이터에서 새로운 샘플러가 혼합 속도와 불확실성 정량화 측면에서 원래 알고리즘을 능가하는가?

주요 결과

• 제안된 이단계 블록형 깁스 샘플러는 고차원 설정에서 원래 삼단계 샘플러에 비해 훨씬 뛰어난 수렴 행동을 보인다.
• 기하 수렴 속도에 대한 명시적 상한이 유도되었으며, 이는 새로운 샘플러 하에서 더 빠른 혼합을 나타낸다.
• 새로운 마르코프 체인이 트레이스 클래스임이 증명되었으며, 이는 컴팩트성과 합수 가능한 고유값을 의미한다. 이는 원래 체인에서는 성립하지 않는다.
• 트레이스 클래스 성질을 통해 샌드위치 알고리즘과의 엄밀한 이론적 비교가 가능해졌으며, 더 나은 수렴 구조가 드러났다.
• 실제 및 모의 데이터에서의 경험적 결과는 새로운 샘플러가 더 빠른 혼합과 향상된 불확실성 정량화를 보임을 확인한다.
• 새로운 방법은 원래 방법과 동일한 사후 분포를 유지하면서도 훨씬 높은 샘플링 효율성을 달성한다.