[논문 리뷰] Regularization and Computation with high-dimensional spike-and-slab posterior distributions

Yves Atchade, Anwesha Bhattacharyya|arXiv (Cornell University)|2018. 03. 27.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 3

한 줄 요약

이 논문은 고차원 선형 모델에서 스파이크-앤드-슬래브 사전분포로부터 유도된 정규화된 가짜사후분포 $\check\Pi_{\gamma}$를 제안한다. $\gamma \downarrow 0$ 이면서 $p \to \infty$일 때 진짜 파rameter로의 사후수축에 충분한 조건을 확립하며, 이는 진짜 사후분포의 수축률과 일치한다. 또한 설계 행렬의 일관성과 초기화에 따라 혼합 시간이 달라지는 MCMC 알고리즘을 제안하며, 유리한 조건 하에서 계산 복잡도는 $O(pe^{s_\star^2})$로 나타난다.

ABSTRACT

We consider the Bayesian analysis of a high-dimensional statistical model with a spike-and-slab prior, and we study the forward-backward envelop of the posterior distribution -- denoted $\check\Pi_{\gamma}$ for some regularization parameter $\gamma>0$. Viewing $\check\Pi_\gamma$ as a pseudo-posterior distribution, we work out a set of sufficient conditions under which it contracts towards the true value of the parameter as $\gamma\downarrow 0$, and $p$ (the dimension of the parameter space) diverges to $\infty$. In linear regression models the contraction rate matches the contraction rate of the true posterior distribution. We also study a practical Markov Chain Monte Carlo (MCMC) algorithm to sample from $\check\Pi_{\gamma}$. In the particular case of the linear regression model, and focusing on models with high signal-to-noise ratios, we show that the mixing time of the MCMC algorithm depends crucially on the coherence of the design matrix, and on the initialization of the Markov chain. In the most favorable cases, we show that the computational complexity of the algorithm scales with the dimension $p$ as $O(pe^{s_\star^2})$, where $s_\star$ is the number of non-zeros components of the true parameter. We provide some simulation results to illustrate the theory. Our simulation results also suggest that the proposed algorithm (as well as a version of the Gibbs sampler of Narisetti and He (2014)) mix poorly when poorly initialized, or if the design matrix has high coherence.

연구 동기 및 목표

• 고차원 모델에서 스파이크-앤드-슬래브 사전분포로부터 유도된 정규화된 가짜사후분포 $\check\Pi_{\gamma}$의 모수적 성질을 연구하는 것.
• 진짜 파rameter로의 $\check\Pi_{\gamma}$ 수축이 차원 $p \to \infty$ 이면서 $\gamma \downarrow 0$일 때 충분한 조건 하에 성립하는지 확인하는 것.
• 선형 회귀 모델에서 $\check\Pi_{\gamma}$를 대상으로 하는 MCMC 알고리즘의 혼합 시간과 계산 복잡도를 분석하는 것.
• 설계 행렬의 일관성과 초기화가 고신호대잡음비 환경에서 MCMC 수렴에 미치는 영향을 조사하는 것.

제안 방법

• 논문은 진짜 스파이크-앤드-슬래브 사후분포의 전진-후진 에너보로 정의된 $\check\Pi_{\gamma}$를 정규화된 가짜사후분포로 정의한다.
• 고차원 선형 모델에서 $\check\Pi_{\gamma}$가 진짜 파arameter로 수축하는 데 필요한 충분한 조건을 도출한다.
• MCMC 알고리즘으로 $\check\Pi_{\gamma}$에서 샘플링하기 위해 메트로폴리스-하스팅스 알고리즘을 제안하며, 혼합 시간에 대한 철저한 분석을 수행한다.
• 혼합 시간이 설계 행렬의 일관성과 마코프 체인의 초기화에 어떻게 영향을 받는지 분석하며, 특히 고신호대잡음비 설정에서의 영향을 다룬다.
• MCMC 알고리즘의 계산 복잡도는 $O(pe^{s_\star^2})$로 나타나며, 여기서 $s_\star$는 진짜 파arameter 벡터의 비제로 성분 수이다.
• 이론적 결과는 다양한 설계 일관성과 초기화 전략 하에서 MCMC 혼합 성능을 평가하는 시뮬레이션 연구로 뒷받침된다.

실험 결과

연구 질문

• RQ1 고차원에서 $p \to \infty$ 이면서 $\gamma \downarrow 0$일 때, 정규화된 가짜사후분포 $\check\Pi_{\gamma}$가 진짜 파arameter로 수축하는 조건은 무엇인가?
• RQ2 설계 행렬의 일관성이 $\check\Pi_{\gamma}$를 대상으로 하는 MCMC 알고리즘의 혼합 시간에 어떤 영향을 미치는가?
• RQ3 초기화가 고차원 스파이크-앤드-슬래브 모델에서 MCMC 샘플러의 수렴에 미치는 영향은 어떠한가?
• RQ4 MCMC 알고리즘의 계산 복잡도는 차원 $p$와 희박성 수준 $s_\star$에 따라 어떻게 변화하는가?
• RQ5 나쁜 초기화 또는 높은 일관성을 가진 경우, 제안된 MCMC 알고리즘과 기존의 지브스 샘플러 간의 혼합 성능는 어떻게 비교되는가?

주요 결과

• 충분한 조건 하에서 고차원 설정에서도 정규화된 가짜사후분포 $\check\Pi_{\gamma}$는 진짜 사후분포와 동일한 속도로 진짜 파arameter로 수축한다.
• 특히 설계 행렬의 일관성과 체인의 초기화에 매우 민감한 혼합 시간을 보이는 $\check\Pi_{\gamma}$를 대상으로 하는 MCMC 알고리즘이다.
• 유리한 경우—낮은 일관성과 좋은 초기화—에서는 MCMC 알고리즘의 계산 복잡도가 $O(pe^{s_\star^2})$로 나타나며, 여기서 $s_\star$는 진짜 희박성 수준이다.
• 시뮬레이션 결과는 제안된 MCMC 알고리즘과 Narisetti 및 He(2014)에서 제안한 지브스 샘플러 모두가 초기화가 불량하거나 설계 행렬의 일관성이 높을 경우에 혼합 성능이 열 劣하다는 것을 확인한다.
• 이론적으로 $\check\Pi_{\gamma}$의 수축 속도는 선형 회귀 모델에서 진짜 사후분포와 일치하며, 이는 계산적으로 실현 가능한 대체 방법으로서의 타당성을 입증한다.
• 이 연구는 설계 행렬의 성질과 초기화가 고차원 스파이크-앤드-슬래브 모델에서 효율적인 사후분포 탐색에 있어 핵심 요소임을 보여준다.