[논문 리뷰] Nearly optimal Bayesian Shrinkage for High Dimensional Regression

Qifan Song, Faming Liang|arXiv (Cornell University)|2017. 12. 24.

Statistical Methods and Inference참고 문헌 51인용 수 49

한 줄 요약

이 논문은 고차원 선형 회귀에서 무거운 尾, 평탄한 尾를 가진 밀도가 높은 수축 우선분포의 클래스를 사용하여 사후 일致성과 거의 최적의 수축 속도를 확립한다. 이 우선분포들은 계산적으로 효율적인 MCMC 샘플링을 통해 스파이크-앤플래시 스타일의 이론적 성능을 달성하며, 일관된 변수 선택과 베르누이-폰 노이만 유형 결과에 기반한 타당한 불확실성 정량화를 가능하게 한다.

ABSTRACT

During the past decade, shrinkage priors have received much attention in Bayesian analysis of high-dimensional data. This paper establishes the posterior consistency for high-dimensional linear regression with a class of shrinkage priors, which has a heavy and flat tail and allocates a sufficiently large probability mass in a very small neighborhood of zero. While enjoying its efficiency in posterior simulations, the shrinkage prior can lead to a nearly optimal posterior contraction rate and variable selection consistency as the spike-and-slab prior. Our numerical results show that under the posterior consistency, Bayesian methods can yield much better results in variable selection than the regularization methods such as Lasso and SCAD. This paper also establishes a Bernstein von-Mises type result, which leads to a convenient way of uncertainty quantification for regression coefficient estimates.

연구 동기 및 목표

• 넓은 범위의 수축 우선분포 하에서 고차원 선형 회귀에 대한 사후 일치성을 확립하기 위해.
• 무거운 尾, 평탄한 尾를 가진 우선분포가 스파이크-앤플래시 우선분포와 유사한 거의 최적의 사후 수축 속도를 달성할 수 있음을 보여주기 위해.
• 스파이크-앤플래시 우선분포를 피하기 위해 차원이 높은 MCMC 샘플링을 피하는 계산적으로 효율적인 대안을 제공하기 위해.
• 고차원 회귀에서 불확실성 정량화를 위한 베르누이-폰 노이만 유형 결과를 확립하기 위해.
• Lasso와 SCAD와 같은 빈도주의 정규화 방법에 비해 뛰어난 변수 선택 성능을 보여주는 수치적 연구를 통해 방법을 검증하기 위해.

제안 방법

• 무거운 尾와 평탄한 尾를 가진 절대 연속 수축 우선분포의 클래스를 분석하며, 특히 0 근처에 상당한 질량을 할당한다.
• 사후 일치성과 최적 수축 속도를 확보하기 위한 충분조건을 유도한다: 구체적으로 다항식 尾와 차원 증가에 따라 감소하는 척도 매개변수.
• 전역 및 국소 수축 매개변수를 BIC 유사 기준에 따라 조정하는 계층적 우선분포 구조를 활용한다.
• 사후 계산은 게이브스 샘플링을 사용하며, 대규모 설정에서의 확장성을 위해 확률적 경량 최적화 MCMC로 확장된다.
• 베르누이-폰 노이만 유형 결과를 확립하여, 진짜 계수에 대한 사후 신뢰구간이 渐近적으로 오라클 신뢰구간과 동일하다는 것을 보여준다.
• 이론적 분석은 공변수 간의 의존성을 고려하여, i.i.d. 정규 평균 모델과의 차이를 구분한다.

실험 결과

연구 질문

• RQ1 무거운 尾와 평탄한 尾를 가진 수축 우선분포가 고차원 선형 회귀에서 사후 일치성과 거의 최적의 수축 속도를 달성할 수 있는가?
• RQ2 이러한 수축 우선분포의 성능은 변수 선택과 추정 정확도 측면에서 스파이크-앤플래시 우선분포와 비교해 어떻게 되는가?
• RQ3 수축 우선분포에 대해 베르누이-폰 노이만 유형 결과를 확립할 수 있는가? 이는 고차원 설정에서 타당한 불확실성 정량화를 가능하게 한다.
• RQ4 $ p > n $ 조건에서 일관된 변수 선택을 보장하기 위해 우선분포에 어떤 조건이 필요한가?
• RQ5 Lasso와 유사한 계산 효율성을 달성하면서도 스파이크-앤플래시 우선분포의 이론적 최적성은 유지할 수 있는가?

주요 결과

• 제안된 수축 우선분포 하에서의 사후 수축 속도는 거의 최적이며, 고차원 회귀의 이론적 하한선과 일치한다.
• 무거운 尾를 가진 우선분포가 0 근처에 충분한 질량을 가지며, $ p_n $ 증가에 따라 척도 매개변수가 감소하는 조건 하에서 사후 일치성이 미약한 조건 하에서도 확립된다.
• 이 방법은 변수 선택 일치성을 달성한다. 즉, 표본 크기가 증가함에 따라 진짜 모델의 사후 확률이 1로 수렴한다.
• 베르누이-폰 노이만 유형 결과가 성립하여, 진짜 계수에 대한 사후 신뢰구간이 渐近적으로 오라클 신뢰구간과 동일하다.
• 수치 결과는 베이지안 수축 방법이 Lasso와 SCAD에 비해 변수 선택 정확도에서 뚜렷이 뛰어나며, 특히 고차원 설정에서 그러하다.
• 호르쉬우 우선분포는 그 인기가 있음에도 불구하고, 임의의 다중공선성로 인해 많은 거짓 발견을 유도하므로 전역 수축 매개변수의 주의 깊은 조정이 필요함을 시사한다.