[논문 리뷰] On variance estimation for Bayesian variable selection

Gemma E. Moran, Veronika Ročková외 1명|arXiv (Cornell University)|2018. 01. 09.

Statistical Methods and Inference참고 문헌 20인용 수 4

한 줄 요약

이 논문은 고차원 정규 선형 모형에서 베이지안 변수 선택에 있어 공액 연속 수축 사전분포가 오차 분산 추정에 심각한 편향을 초래할 수 있음을 주장한다. 저자들은 회귀 계수와 오차 분산에 대해 독립 사전분포를 도입함으로써, 오차 분산이 알려져 있지 않은 상황에서도 작동하는 스피크-앤드-슬래브 라소를 확장하여, 고정 분산 사전분포 기반의 베이지안 접근법과 펜라이즈드 우도 방법보다 시뮬레이션에서 더 우수한 성능을 보임을 보여준다.

ABSTRACT

Consider the problem of high dimensional variable selection for the Gaussian linear model when the unknown error variance is also of interest. In this paper, we argue that the use conjugate continuous shrinkage priors for Bayesian variable selection can have detrimental consequences for such error variance estimation. Instead, we recommend the use of priors which treat the regression coefficients and error variance as independent a priori. We revisit the canonical reference for invariant priors, Jeffreys (1961), and highlight a caveat with their use that Jeffreys himself noted. For the case study of Bayesian ridge regression, we demonstrate that these scale-invariant priors severely underestimate the variance. More generally, we discuss how these priors also interfere with the mechanics of the Bayesian global-local shrinkage framework. With these insights, we extend the Spike-and-Slab Lasso of Rockova and George (2016) to the unknown variance case, using an independent prior for the error variance. Our procedure outperforms both alternative penalized likelihood methods and the fixed variance case on simulated data.

연구 동기 및 목표

• 고차원 베이지안 변수 선택에서 공액 연속 수축 사전분포가 오차 분산 추정에 미치는 영향을 조사하는 것.
• 회귀 모형에서 오차 분산에 사용될 때 척도 불변 사전분포(예: 제프레즈의 사전분포)의 결함을 규명하는 것.
• 이러한 사전분포가 베이지안 변수 선택의 글로벌-로컬 수축 프레임워크에 미치는 간섭을 다루는 것.
• 회귀 계수와 오차 분산을 사전에 독립적으로 간주하는 강건한 베이지안 변수 선택 방법을 개발하는 것.
• 알려지지 않은 분산 설정으로의 스피크-앤드-슬래브 라소 확장을 수행하고, 기존 방법들과의 성능을 평가하는 것.

제안 방법

• 제프레즈(1961)의 불변 사전분포를 재검토하고, 제프레즈가 분산 추정에 있어 이 사전분포 사용 시 주의할 점을 강조한다.
• 오차 분산 추정에 악영향을 미치지 않도록 회귀 계수와 오차 분산에 대해 독립 사전분포를 제안한다.
• 계수와 분산 간의 사전 의존성을 해소함으로써 스피크-앤드-슬래브 라소 프레임워크를 알려지지 않은 오차 분산 설정에 적응시킨다.
• 오차 분산을 계수 사전분포와 독립적인 인버스 감마 분포 또는 약한 정보를 가진 사전분포로 할당하는 계층 베이지안 모형을 사용한다.
• 새로운 독립 사전분포 구조 하에서 사후분포 계산을 위해 MCMC 또는 변분 추론을 활용한다.
• 고정 분산 사전분포 기반 방법과 펜라이즈드 우도 방법과의 비교를 통해 시뮬레이션 연구를 수행하여 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 공액 연속 수축 사전분포는 고차원 베이지안 선형 모형에서 오차 분산 추정에 어떻게 영향을 미치는가?
• RQ2 오차 분산 추정에 척도 불변 사전분포(예: 제프레즈의 사전분포)를 사용할 경우 어떤 결과가 초래되는가?
• RQ3 기존 사전분포에서 계수와 오차 분산 간의 의존성이 사후 추론에 얼마나 심각하게 왜곡을 초래하는가?
• RQ4 알려지지 않은 오차 분산 설정으로의 스피크-앤드-슬래브 라소는 이론적·실증적 우수성을 유지하면서 효과적으로 확장될 수 있는가?
• RQ5 제안된 독립 사전분포 접근법의 성능은 펜라이즈드 우도 방법과 고정 분산 사전분포 기반의 베이지안 모델과 비교해 어떻게 되는가?

주요 결과

• 공액 연속 수축 사전분포는 고차원 환경에서 오차 분산을 심각하게 과소추정한다.
• 척도 불변 성질을 지닌 사전분포인 제프레즈의 사전분포는 시뮬레이션 연구에서 비록 그 성질을 갖추고 있음에도 불구하고, 실제 오차 분산을 체계적으로 과소추정한다.
• 회귀 계수와 오차 분산 간의 독립성 가정이 사후 추정 정확도를 향상시키고 편향을 감소시킨다.
• 독립 오차 분산 사전분포를 사용하는 확장된 스피크-앤드-슬래브 라소는 고정 분산 사전분포 기반의 베이지안 방법과 펜라이즈드 우도 접근법보다 시뮬레이션 실험에서 뛰어난 성능을 보인다.
• 제안된 방법은 고차원 환경에서 특히 신뢰할 수 있는 분산 추정을 제공하면서도 강력한 변수 선택 성능을 유지한다.