[논문 리뷰] Bayesian variable selection in high dimensional problems without assumptions on prior model probabilities

James O. Berger, Gonzalo García‐Donato외 2명|arXiv (Cornell University)|2016. 07. 11.

Statistical Methods and Inference참고 문헌 16인용 수 5

한 줄 요약

이 논문은 사전 모형 확률에 대한 가정 없이 고차원 선형 모형에서 $ p $가 표본 크기 $ n $을 초과하는 경우에 대해 새로운 베이지안 변수 선택 방법을 제안한다. 일반적인 $ g $-prior와 $ g $-혼합분포를 확장하는 정규화된 전통적 사전분포를 도입하여, $ p \gg n $ 환경에서도 일致된 모형 선택과 진짜 모형으로의 사후 확률 집중을 가능하게 하며, 실증 결과는 진짜 공변량을 잘 식별하고 허위 공변량을 배제하는 데 강력한 성능을 보인다.

ABSTRACT

We consider the problem of variable selection in linear models when $p$, the number of potential regressors, may exceed (and perhaps substantially) the sample size $n$ (which is possibly small).

연구 동기 및 목표

• 현대 통계에서 흔한 문제인 $ p \gg n $ 조건에서의 고차원 선형 모형에 대한 베이지안 변수 선택 문제를 다루기 위해.
• 높은 차원 환경에서 일반적으로 비현실적인 등가 사전 모형 확률 가정을 제거하기 위해.
• 표준 $ g $-prior와 $ g $-혼합분포를 $ p \gg n $ 상황으로 일반화하는 정규화된 전통적 사전분포의 클래스를 개발하기 위해.
• 약한 규칙성 조건 하에서 사후 일致성과 진짜 모형으로의 적절한 확률 집중을 보장하기 위해.
• 이론적으로 타당하고 계산적으로 실현 가능한 접근법을 제공하여, 모형 선택 일치성과 같은 충실도 성질을 유지하기 위해.

제안 방법

• 정규화된 전통적 사전분포를 도입하여 기존의 전통적 사전분포를 확장함으로써, $ \mathbf{V}_\gamma^T \mathbf{V}_\gamma $의 특이성 문제를 고려하여 사전 스케일 행렬 $ \mathbf{S}_\gamma $를 수정함으로써 $ p \gg n $ 상황을 가능하게 한다.
• 전역 스케일 매개변수 $ t $에 대한 혼합 밀도 $ p_n(t) $를 포함하는 계층적 사전분포 구조를 사용하여, $ n \leq k_\gamma $일 경우에도 적절한 사후 추론을 보장한다.
• 모형 비교의 주요 도구로 베이즈 요인 $ B_\gamma = m_\gamma(\mathbf{y}) / m_0(\mathbf{y}) $를 사용하며, 새로운 사전분포 하에서의 주변 가능도를 계산한다.
• 예측 일치 기준을 적용하여 사전분포의 타당성을 정당화함으로써, 사전분포가 재매개변수화에 대해 불변이며 예측적으로 영모형과 일치하도록 보장한다.
• 모형 선택을 위해 사후 모형 확률 $ f(\boldsymbol{\gamma} \mid \mathbf{y}) \propto B_\gamma f(\boldsymbol{\gamma}) $를 사용하며, $ f(\boldsymbol{\gamma}) $는 편향을 피하기 위해 비정보적 사전분포로 유지한다.
• 모형 공간을 정규 및 특이 부분집합으로 분해하여 사후 확률 집중을 분석하고, $ n $이 충분히 클 경우 사후 질량이 정규 부분집합으로 집중됨을 보여준다.

실험 결과

연구 질문

• RQ1 사전 모형 확률 가정 없이 고차원 모형에서 $ p \gg n $ 조건에서 베이지안 변수 선택을 일관되게 수행할 수 있는가?
• RQ2 기존의 사전분포(예: $ g $-prior)는 어떻게 $ p \gg n $ 조건에서 다루며, 바람직한 이론적 성질을 유지할 수 있는가?
• RQ3 고차원 선형 모형에서 $ n/p $ 비율은 사후 확률 집중과 모형 선택 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 라소와 같은 최빈자 스파arsity 기반의 빈도주의 방법과 비교해 변수 선택 정확도와 스파arsity 측면에서 어떻게 다른가?
• RQ5 $ n \to \infty $일 때, $ p $가 $ n $보다 더 빠르게 증가하더라도 사후 분포는 진짜 모형으로 수렴하는가?

주요 결과

• 표본 크기 $ n = 41 $, 공변량 수 $ p = 8408 $, 진짜 공변량 4개를 가진 시뮬레이션에서 특이 모형 부분집합의 사후 확률은 뿐만 아니라 0.004에 불과하여 정규 모형 공간으로의 강한 사후 확률 집중을 나타낸다.
• 두 개의 진짜 공변량인 $ x_1 $과 $ x_3 $는 높은 포함 확률(각각 0.809과 0.726)을 보였고, 모든 허위 공변량은 포함 확률이 0.038 이하였다.
• 표본 크기 $ n = 10 $일 때 특이 부분집합의 사후 모형 확률은 0.995였으며, 이는 데이터 정보가 $ p \gg n $에 의해 압도됨을 시사하지만, $ n $이 30으로 증가함에 따라 이 값은 0.320으로 감소하여 데이터 정보가 점점 더 중요해짐을 보여준다.
• 최고 사후 확률 모형(Highest Posterior Probability Model, HPM)은 $ \{x_1, x_3\} $이었으며, 이는 진짜 모형을 정확히 식별한 것으로, 다양한 혼합 밀도 사전분포 선택에 대해 안정적이었다.
• 라소 선택에서 $ \lambda_{\text{min}} $는 1~38개의 허위 변수를 선택했고, $ \lambda_{1\text{se}} $는 1~13개를 선택했지만 중앙값 모형은 $ x_2 $, $ x_{3780} $, $ x_{4494} $를 포함하여 불안정함을 보였다. 반면 베이지안 방법은 안정적이고 정확한 선택을 보였다.
• 이 방법은 이론적 일관성을 유지한다: $ n \to \infty $일 때, $ p $가 $ n $보다 더 빠르게 증가하더라도 진짜 모형의 사후 확률은 1로 수렴한다.