[논문 리뷰] Bayesian Bootstrap Spike-and-Slab LASSO

Lizhen Nie, Veronika Ročková|arXiv (Cornell University)|2020. 11. 29.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 6

한 줄 요약

이 논문은 높은 차원의 선형 회귀에서 사후 분포 샘플링을 위한 근사적 사후 샘플링 방법인 베이지안 부트스트랩 스파이크-스랩 라소(BB-SSL)를 소개한다. 이 방법은 다수의 부트스트랩 재표본화된 데이터셋에서 MAP 최적화를 수행함으로써 스케일러블하게 작동한다. BB-SSL은 near-optimal 사후 수축 속도를 달성하며, 시뮬레이션과 실제 데이터에서 전통적인 MCMC 및 수축 방법보다 뛰어나며, 강력한 불확실성 측정을 유지하면서도 상당한 계산적 이점을 제공한다.

ABSTRACT

The impracticality of posterior sampling has prevented the widespread adoption of spike-and-slab priors in high-dimensional applications. To alleviate the computational burden, optimization strategies have been proposed that quickly find local posterior modes. Trading off uncertainty quantification for computational speed, these strategies have enabled spike-and-slab deployments at scales that would be previously unfeasible. We build on one recent development in this strand of work: the Spike-and-Slab LASSO procedure of Ročková and George (2018). Instead of optimization, however, we explore multiple avenues for posterior sampling, some traditional and some new. Intrigued by the speed of Spike-and-Slab LASSO mode detection, we explore the possibility of sampling from an approximate posterior by performing MAP optimization on many independently perturbed datasets. To this end, we explore Bayesian bootstrap ideas and introduce a new class of jittered Spike-and-Slab LASSO priors with random shrinkage targets. These priors are a key constituent of the Bayesian Bootstrap Spike-and-Slab LASSO (BB-SSL) method proposed here. BB-SSL turns fast optimization into approximate posterior sampling. Beyond its scalability, we show that BB-SSL has a strong theoretical support. Indeed, we find that the induced pseudo-posteriors contract around the truth at a near-optimal rate in sparse normal-means and in high-dimensional regression. We compare our algorithm to the traditional Stochastic Search Variable Selection (under Laplace priors) as well as many state-of-the-art methods for shrinkage priors. We show, both in simulations and on real data, that our method fares superbly in these comparisons, often providing substantial computational gains.

연구 동기 및 목표

• 스파이크-스랩 사전분포 하에서 고차원 설정에서 전체 사후 샘플링의 계산 비용 문제를 해결하기 위해.
• 불확실성 측정을 유지하면서 MCMC 기반 사후 샘플링의 확장 가능한 대안을 개발하기 위해.
• 스파이크-스랩 라소에서의 빠른 MAP 최적화를 활용하면서도 전체 사후 추론을 근사하기 위해.
• 제안된 방법의 사후 수축 행동에 대한 이론적 보장을 확립하기 위해.

제안 방법

• 디리클레 분포에서 추출한 가중치를 사용해 재표본화를 통해 다수의 변형된 데이터셋을 생성하는 베이지안 부트스트랩 프레임워크를 제안한다.
• 각 부트스트랩 재표본화된 데이터셋에 대해 MAP 최적화(스파이크-스랩 라소를 통해)를 적용하여 근사 사후 샘플을 생성한다.
• 부트스트랩 반복 간 추정의 안정성을 높이기 위해 무작위로 수축 타겟을 가진 조정된 스파이크-스랩 라소 사전분포를 도입한다.
• 부트스트랩 샘플 전역에서 스파이크 정밀도 매개변수 $\lambda_0$ 를 동일한 고정된 값으로 사용하며, 원본 데이터에 대한 SSLASSO 해를 기반으로 초기화한다.
• 부트스트랩 MAP 추정치의 경험적 분포를 기반으로 한 가짜 사후분포를 사용하여 진짜 사후분포를 근사한다.
• 이 방법은 계산적으로 효율적이며, 고비용의 행렬 역행렬 계산과 MCMC 혼합 문제를 피한다.

실험 결과

연구 질문

• RQ1 부트스트랩 재표본화된 데이터에서의 빠른 MAP 최적화가 스파이크-스랩 사전분포 하에서 진짜 사후 분포에 대한 신뢰할 수 있는 근사치를 제공할 수 있는가?
• RQ2 제안된 BB-SSL 방법이 고차원 희박 회귀에서 near-optimal 속도로 사후 수축을 달성할 수 있는가?
• RQ3 계산 속도와 추론 정확도 측면에서 전통적인 MCMC 방법인 확률적 변수 선택(Stochastic Search Variable Selection, SSVS)과 비교해 BB-SSL은 어떻게 성능을 내는가?
• RQ4 부트스트랩 매개변수 $\alpha$ 는 사후 분산과 추정 안정성에 어떤 영향을 미치는가?
• RQ5 MCMC 방법이 국소 최적점에 갇히기 쉬운 고상관도 예측 변수 환경에서 BB-SSL은 강력한 성능을 유지할 수 있는가?

주요 결과

• BB-SSL은 희박 정규 평균 모형과 고차원 회귀 모형 모두에서 near-optimal 사후 수축 속도를 달성한다.
• 블록 구조와 등가상관 구조를 가진 시뮬레이션에서, 진짜 값 근처로 초기화된 경우 BB-SSL은 SSVS의 사후 근사치와 매우 유사하게 작동하며, 특히 고상관도 설정에서 SSVS를 초월하는 성능을 보인다.
• BB-SSL은 MCMC 기반 방법보다 상당한 계산적 이점을 제공하며, 더 빠른 수렴과 낮은 혼합 문제를 경험한다.
• 부트스트랩 매개변수 $\alpha$ 의 다양한 값에서도 BB-SSL은 안정된 사후 분산을 유지하며, $\alpha = 1000$ 이상에서는 수익 감소 현상이 나타난다.
• 실제 데이터, 예를 들어 내구소비재 마케팅 데이터셋에서 BB-SSL은 신뢰할 수 있는 사후 추정치와 MCMC 기준과 일치하는 신뢰구간을 생성한다.
• BB-SSL은 고차원 및 상관도 높은 환경에서 최신의 수축 사전분포보다도 더 뛰어난 성능을 보이며, 시뮬레이션과 실제 응용 모두에서 유의미한 성능 향상을 보인다.