[논문 리뷰] Bayesian model selection in Gaussian regression

Felix Abramovich, Vadim Grinshtein|arXiv (Cornell University)|2009. 12. 22.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 고차원 예측 변수를 가진 가우시안 선형 회귀에서 복잡도 페널티를 모델 크기의 사전분포에서 유도한 베이지안 모델 선택 방법을 제안한다. 이는 희박성과 조밀성 설정 모두에서 오ракูล 부등식과 점점 줄어드는 최소최대성에 의해 이론적으로 최적임을 입증한다. 다중공선성 설계 조건에서도 성립한다.

ABSTRACT

We consider a Bayesian approach to model selection in Gaussian linear regression, where the number of predictors might be much larger than the number of observations. From a frequentist view, the proposed procedure results in the penalized least squares estimation with a complexity penalty associated with a prior on the model size. We investigate the optimality properties of the resulting estimator. We establish the oracle inequality and specify conditions on the prior that imply its asymptotic minimaxity within a wide range of sparse and dense settings for “nearly-orthogonal ” and “multicollinear ” designs. 1

연구 동기 및 목표

• p ≫ n 인 고차원 가우시안 선형 회귀에서의 모델 선택을 위한 베이지안 프레임워크를 개발하는 것.
• 모델 크기의 사전분포를 통해 복잡도 페널티를 유도함으로써 베이지안과 빈도주의 관점 간의 다리를 놓는 것.
• 결과로 도출된 추정기의 이론적 최적성을 희박성과 조밀성 설정 모두에서 입증하는 것.
• 근사적으로 직교적이고 다중공선성 있는 설계 조건 하에서 점점 줄어드는 최소최대성을 보장하는 사전분포 조건을 조사하는 것.

제안 방법

• 모델 크기의 계층적 사전분포를 사용하여 주변 가능도에 복잡도 페널티를 유도한다.
• 모델 선택은 주변 가능도 최대화를 통해 수행되며, 이는 데이터에 의존하는 페널티를 가진 페널티 최소제곱과 동치이다.
• 페널티 항은 모델 크기의 사전분포에서 유래되며, 베이지안 주변화와 빈도주의 정규화를 연결한다.
• 이론적 분석은 농도 불등식과 엔트로피 조건을 활용하여 추정 위험을 경계한다.
• 근사적으로 직교적이고 다중공선성 있는 설계 행렬에 대해 적용하여 안정성을 평가한다.
• 오라클 부등식을 사용하여 추정기의 위험을 이상적인 모델의 위험과 비교하는 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 고차원 가우시안 회귀에서 베이지안 모델 선택 절차가 최소최대 최적 추정 위험을 달성하는 조건은 무엇인가?
• RQ2 모델 크기의 사전분포 선택이 도출된 추정기의 빈도주의 성질에 미치는 영향은 무엇인가?
• RQ3 베이지안 절차는 희박성과 조밀성 설정 모두에서 최적성을 유지할 수 있는가?
• RQ4 다중공선성은 베이지안 모델 선택 방법의 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 최상의 가능 모델에 대한 위험을 경계하는 오라클 부등식을 달성하는가?

주요 결과

• 베이지안 모델 선택 절차는 오라클 부등식을 만족하여, 최적 가능 모델의 위험에 로그 인자 내에서 수렴한다.
• 이 방법은 희박성과 조밀성 설정을 포함한 광범위한 모델 클래스에서 점점 줄어드는 최소최대성을 확보한다.
• 근사적으로 직교적 설계와 다중공선성 설계 모두에서 최적성이 유지되어 안정성을 입증한다.
• 사전분포에 의해 유도된 복잡도 페널티는 알려지지 않은 희박성 수준에 적응하는 데 기여한다.
• 설계 행렬에 대한 최소한의 가정 하에 이론적 보장이 확립되어 일반적인 고차원 설정으로 확장된다.
• 페널티 최소제곱과의 연결이 공식적으로 입증되어, 베이지안 접근이 최적의 위험 특성을 가진 빈도주의 추정기를 도출함을 보여준다.