[논문 리뷰] Robust Bayesian variable selection with sub-harmonic priors

Yuzo Maruyama, William E. Strawderman|arXiv (Cornell University)|2010. 09. 10.

Statistical Methods and Inference참고 문헌 21인용 수 8

한 줄 요약

이 논문은 구형 대칭 오차 분포를 가진 선형 모형에 대해 강건한 베이지안 변수 선택 방법으로 하위 조화형 사전을 도입한다. 주요 기여는 이러한 사전을 기반으로 한 베이즈 요인들이 구형 대칭 오차 분포의 선택에 관계없이 불변성을 가지며, 무거운 尾비대칭 및 대칭 오차 분포의 광범위한 클래스에 걸쳐 모형 선택의 일致성과 일관성을 보장한다는 것이다.

ABSTRACT

This paper studies Bayesian variable selection in linear models with general spherically symmetric error distributions. We propose sub-harmonic priors which arise as a class of mixtures of Zellner's g-priors for which the Bayes factors are independent of the underlying error distribution, as long as it is in the spherically symmetric class. Because of this invariance to spherically symmetric error distribution, we refer to our method as a robust Bayesian variable selection method. We demonstrate that our Bayes factors have model selection consistency and are coherent. We also develop Laplace approximations to Bayes factors for a number of recently studied mixtures of g-priors that have recently appeared in the literature (including our own) for Gaussian errors. These approximations, in each case, are given by the Gaussian Bayes factor based on BIC times a simple rational function of the prior's hyper-parameters and the R^2's for the respective models. We also extend model selection consistency for several g-prior based Bayes factor methods for Gaussian errors to the entire class of spherically symmetric error distributions. Additionally we demonstrate that our class of sub-harmonic priors are the only ones within a large class of mixtures of g-priors studied in the literature which are robust in our sense. A simulation study and an analysis of two real data sets indicates good performance of our robust Bayes factors relative to BIC and to other mixture of g-prior based methods.

연구 동기 및 목표

• 일반적인 구형 대칭 오차 분포, 특히 가우시안 오차 분포 외의 경우에도 유지되는 강건한 베이지안 변수 선택 방법을 개발하는 것.
• 기존 방법들이 가우시안 오차를 가정함으로써 더 무거운 尾비대칭 또는 비정규 분포 하에서 유효성을 失하는 한계를 해결하는 것.
• 전체 구형 대칭 오차 분포 클래스에 걸쳐 모형 선택의 일치성과 일관성을 확보하는 것.
• 베이즈 요인의 분포 불변성을 보장하는 유일한 g-프리어 혼합 클래스를 규명하는 것.
• 계산적으로 효율적이고 BIC에 합리적 수정을 가미한 유한한 보정을 기반으로 한 정확한 베이즈 요인의 근사화 방법을 제공하는 것.

제안 방법

• Zellner의 g-프리어 혼합으로서의 하위 조화형 사전을 제안하여, 구형 대칭 오차 분포에 관계없이 베이즈 요인이 독립적이게 하는 방법을 제공한다.
• 우도와 사전의 구형 대칭성 구조를 활용하여, 구형 대칭 오차 하에서 베이즈 요인의 불변성을 도출한다.
• 일반적인 구형 대칭 오차 분포 하에서 제안된 방법의 모형 선택 일치성을 확립하며, 이는 이전의 가우시안 설정에 국한된 결과를 확장한 것이다.
• 마진 분포의 라플라스 근사를 개발하여, 베이즈 요인을 BIC 기반 항과 하이퍼파rameter 및 R²의 유리 함수 곱으로 표현한다.
• 대규모 표본 하에서 잔차 제곱합의 비율이 지수 형태로 수렴함을 이용하여 渐近적 타당성을 확보한다.
• 문헌에서 다뤄진 광범위한 사전 클래스 내에서 하위 조화형 사전이 오직 유일하게 이 불변성 성질을 보장하는 혼합 g-프리어임을 증명한다.

실험 결과

연구 질문

• RQ1 선형 모형에서 오차 분포의 가우시안 가정에서의 이탈에 대해 베이지안 변수 선택을 어떻게 강건하게 만들 수 있는가?
• RQ2 어떤 g-프리어 혼합 클래스가 구형 대칭 오차 분포 하에서 베이즈 요인이 불변성을 가지는가?
• RQ3 가우시안 오차 하에서의 모형 선택 일치성은 더 넓은 구형 대칭 오차 분포 클래스로 확장되는가?
• RQ4 비가우시안 오차 모형에 대해 정확하고 계산적으로 효율적인 베이즈 요인 근사화는 어떻게 유도할 수 있는가?
• RQ5 다양한 오차 분포에 걸쳐 변수 선택의 강건성을 보장하는 고유한 사전 구조는 존재하는가?

주요 결과

• 제안된 하위 조화형 사전은 구형 대칭 오차 분포의 선택에 관계없이 베이즈 요인이 불변성을 가지며, 이는 광범위한 오차 모형 클래스에 걸쳐 강건성을 보장한다.
• 일반적인 구형 대칭 오차 분포 하에서 제안된 방법의 모형 선택 일치성이 입증되었으며, 이는 이전에 가우시안 오차에 국한된 결과를 확장한 것이다.
• 베이즈 요인에 대한 라플라스 근사가 유도되었으며, 이는 가우시안 BIC 기반 베이즈 요인에 사전의 하이퍼파rameter와 모형의 R²의 유리 함수를 곱한 것과 동일하다.
• 넓은 범위의 g-프리어 혼합 클래스 내에서 하위 조화형 사전이 오직 유일하게 구형 대칭 오차 하에서 베이즈 요인의 불변성을 보장하는 것으로 증명되었다.
• 시뮬레이션 연구 및 실제 데이터 분석 결과, 강건한 베이즈 요인은 BIC 및 기타 g-프리어 기반 방법보다 변수 선택 정확도에서 뛰어나게 나타났다.
• 귀무 모형이 포함된 경우에도 이 방법은 일관성을 유지하며, 사전 구조의 경미한 수정만으로 유효성을 확보한다.