[논문 리뷰] Bayesian Variable Selection and Estimation Based on Global-Local Shrinkage Priors

Xueying Tang, Xiaofan Xu외 2명|arXiv (Cornell University)|2016. 05. 25.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 전역-국소 수축 사전을 사용한 선형 회귀에 대한 베이지안 변수 선택 방법을 제안하며, 사후 평균과 OLS 추정치의 비율이 1/2를 초과하는지에 따라 변수를 선택한다. 직교 설계와 다항식 꼬리를 가진 국소 사전 하에서, 이 방법은 오라클 성질을 확보한다 — 동시에 변수 선택 일致성과 최적의 추정 속도를 확보한다.

ABSTRACT

In this paper, we consider Bayesian variable selection problem of linear regression model with global-local shrinkage priors on the regression coefficients. We propose a variable selection procedure that select a variable if the ratio of the posterior mean to the ordinary least square estimate of the corresponding coefficient is greater than $1/2$. Under the assumption of orthogonal designs, we show that if the local parameters have polynomial-tailed priors, our proposed method enjoys the oracle property in the sense that it can achieve variable selection consistency and optimal estimation rate at the same time. However, if, instead, an exponential-tailed prior is used for the local parameters, the proposed method does not have the oracle property.

연구 동기 및 목표

• 고차원 선형 회귀에서 동시에 변수 선택과 계수 추정을 수행하는 베이지안 변수 선택 절차를 개발한다.
• 수축 사전이 정확한 0 추정치를 생성하는 데 한계가 있음을 해결하기 위해, 사후 평균과 OLS 추정치 비율에 기반한 임계값 규칙을 도입한다.
• 제안된 방법이 오라클 성질 — 변수 선택 일치성과 최적의 추정 속도 — 를 확보할 수 있는 이론적 조건을 수립한다.
• 다항식 꼬리를 가진 국소 사전과 지수 꼬리 사전이 오라클 성질을 달성하는 데 어떻게 영향을 미치는지 비교한다.
• 특히 적응형 lasso와 스팘이크-앤드-슬럽 사전과의 관련성에서, 수축 기반 변수 선택의 베이지안 프레임워크 내 이론적 이해를 확장한다.

제안 방법

• 변수 선택 규칙을 제안: 변수 $i$를 포함시키기 위해 $\frac{\mathbb{E}[\beta_i \mid \mathbf{Y}]}{\hat{\beta}_i^{\text{OLS}}} > \frac{1}{2}$ 를 만족시킨다. 여기서 $\hat{\beta}_i^{\text{OLS}}$ 는 일반 최소제곱 추정치이다.
• 회귀 계수에 전역-국소 수축 사전을 사용하며, 전역 초모수 $\tau_n$ 과 국소 초모수 $\lambda_i$ 를 포함한다.
• 변수 $i$ 를 포함할 때의 사후 오즈 비율에서 유도된 비율 $\tilde{S}_n^{(i)}$ 를 통해 사후 포함 확률의 점근적 행동을 분석한다.
• 역 가우시안 분포를 국소 척도 모수에 적용하여 사후 포함 확률의 해석적 표현을 유도한다.
• 직교 설계 하에서 점근적 분석을 수행하며, $n^2\tau_n \to \infty$, $c$, 또는 $0$ 이 되는 방식으로 $n \to \infty$ 일 때 수렴 성질을 연구한다.
• 역 가우시안 누적분포함수와 꼬리 근사법을 사용하여 사후 포함 오즈 비율 $\tilde{S}_n^{(i)}$ 의 점근적 행동을 유도한다.

실험 결과

연구 질문

• RQ1 전역-국소 수축 사전을 기반으로 한 베이지안 변수 선택 절차가 오라클 성질 — 동시에 일치하는 변수 선택과 최적의 추정 속도 — 를 달성할 수 있는가?
• RQ2 국소 사전의 꼬리 행동(다항식 대비 지수)이 제안된 방법의 오라클 성질에 어떻게 영향을 미치는가?
• RQ3 사후 평균과 OLS 추정치 비율에 기반한 제안된 임계값 규칙이 직교 설계 하에서 일관된 변수 선택을 이끌 수 있는가?
• RQ4 국소 사전이 다항식 꼬리이거나 지수 꼬리일 경우, 사후 포함 확률의 점근적 행동은 어떻게 되는가?
• RQ5 $\tau_n$ 의 선택이 사후 포함 오즈의 수렴과 그로 인한 선택 일치성에 어떻게 영향을 미치는가?

주요 결과

• 직교 설계와 다항식 꼬리 국소 사전 하에서, 제안된 방법은 오라클 성질을 달성한다 — 변수 선택 일치성과 최적의 $\sqrt{n}$ 추정 속도를 동시에 확보한다.
• 지수 꼬리 국소 사전을 사용할 경우, 방법은 오라클 성질을 달성하지 못하며, 이는 국소 사전의 꼬리 두께가 이론적 성능에 결정적인 영향을 미친다는 것을 시사한다.
• 모든 고려된 $n^2\tau_n$ 스케일링 체제 하에서, 사후 포함 오즈 비율 $\tilde{S}_n^{(i)}$ 는 확률적으로 무한대로 발산하며, 이는 비제로 계수에 대한 사후 집중이 강하게 이뤄짐을 의미한다.
• 비제로 계수에 대해 $\sqrt{n}\tilde{S}_n^{(i)} \overset{p}{\to} \infty$ 이며, 이는 진정으로 관련된 변수에 대한 포함 일치성을 지지한다.
• $\tilde{S}_n^{(i)}$ 의 점근적 행동은 $n^2\tau_n$ 의 점근적 체제에 따라 달라지지만, 모든 경우에서 비제로 계수에 대한 사후 포함 확률은 1로 수렴한다.
• 이 방법의 이론적 성능은 국소 사전의 꼬리 행동에 민감하다: 오직 다항식 꼬리에서만 오라클 성질이 달성되며, 지수 꼬리는 이를 달성하지 못한다.