[논문 리뷰] Regularization in regression: comparing Bayesian and frequentist methods in a poorly informative situation

Gilles Celeux, Mohammed El Anbari외 2명|arXiv (Cornell University)|2010. 10. 02.

Statistical Methods and Inference참고 문헌 36인용 수 53

한 줄 요약

이 논문은 n이 p와 약간 큰 고차원 선형 회귀에서 비정보성 사전을 가정할 때 베이지안 및 빈도주의 정규화 방법을 비교한다. 본문에서는 조정이 필요 없는 계층적 제일너 g-사전(NIMS 및 HG-2) 두 가지를 제안하여 g의 조정이 필요 없도록 하였으며, 시뮬레이션 및 실데이터 분석을 통해 베이지안 방법이 라소 및 엘라스틱넷과 같은 빈도주의 대안보다 예측 오차가 낮고 변수 선택의 단순성(파라미터 수가 적음)이 뛰어나다는 것을 보여준다.

ABSTRACT

Using a collection of simulated an real benchmarks, we compare Bayesian and frequentist regularization approaches under a low informative constraint when the number of variables is almost equal to the number of observations on simulated and real datasets. This comparison includes new global noninformative approaches for Bayesian variable selection built on Zellner's g-priors that are similar to Liang et al. (2008). The interest of those calibration-free proposals is discussed. The numerical experiments we present highlight the appeal of Bayesian regularization methods, when compared with non-Bayesian alternatives. They dominate frequentist methods in the sense that they provide smaller prediction errors while selecting the most relevant variables in a parsimonious way.

연구 동기 및 목표

• n ≈ p 이며 사전 정보가 부족한 상황에서 베이지안 및 빈도주의 정규화 방법의 성능을 평가하기 위해.
• 고차원 선형 모형에서 비정보성 사전이 변수 선택 및 예측 정확도에 미치는 영향을 조사하기 위해.
• 조정이 필요 없는 계층적 제일너 g-사전(NIMS 및 HG-2)이 객관적인 베이지안 대안으로서의 타당성과 실용성을 평가하기 위해.
• 베이지안 및 빈도주의 접근법 간의 모형 선택 단순성 및 예측 성능을 비교하기 위해.
• 낮은 표본 크기, 고차원 설정에서 객관적인 베이지안 방법의 강건성과 경쟁력을 실증적으로 제시하기 위해.

제안 방법

• 기준으로 Zellner의 g-사전을 사용하고, g에 대한 민감도를 줄이기 위해 계층적 및 비정보성 형태로 확장한다.
• 조정이 필요 없는 두 가지 사전을 제안: NIMS(비정보성 마진널 선택) 및 HG-2(영모형을 제외한 계층적 g-사전).
• 예측 오차 계산을 위해 베이지안 방법에서 모형 평균화를 적용하여 안정성과 MSE 성능을 향상시킨다.
• 빈도주의 정규화 방법(Lasso, 엘라스틱넷, Dantzig 선택기)의 조정을 위해 십분할 교차검증을 사용한다.
• 체중 지방 및 오존 데이터셋에 대한 시뮬레이션 및 실데이터 실험을 반복적인 훈련-테스트 분할(25회)으로 수행한다.
• 예측 평균제곱오차(MSE), 변수 선택 빈도, 모형 단순성 등을 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 n ≈ p 이며 사전 정보가 최소일 때, 베이지안 및 빈도주의 정규화 방법이 예측 정확도 및 변수 선택 측면에서 어떻게 비교되는가?
• RQ2 조정이 필요 없는 계층적 g-사전(NIMS 및 HG-2)이 g의 조정이 필요 없이 전통적인 g-사전에 대한 강건하고 객관적인 대안을 제공할 수 있는가?
• RQ3 베이지안 방법이 낮은 예측 오차를 유지하면서도 관련 변수를 얼마나 잘 선택하는가?
• RQ4 제안된 객관적 사전(NIMS 및 HG-2)은 실세계 데이터셋에서 기존의 베이지안 및 빈도주의 접근법과 비교해 어떻게 성능을 발휘하는가?
• RQ5 낮은 정보성 설정에서 모형 평균화가 베이지안 정규화 방법의 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 시뮬레이션 및 실데이터 세트에서 베이지안 정규화 방법이 빈도주의 방법보다 일관되게 낮은 예측 평균제곱오차(MSE)를 기록한다.
• 베이지안 방법은 평균적으로 더 적은 변수를 선택하며, 반복적인 분할에서 변수 선택의 일관성이 높다.
• NIMS 및 HG-2 조정이 필요 없는 사전은 경쟁력 있고 실용적인 객관적 대안을 제공한다.
• 체중 지방 데이터셋에서 베이지안 방법은 평균적으로 3~4개의 변수만 선택한 반면, 빈도주의 방법은 5개를 선택했고, 25회 분할에서 MSE에 변동이 없었다.
• 오존 데이터셋에서는 베이지안 방법과 정보 기반 기준(AIC/BIC)이 약 3개의 변수를 선택한 반면, 정규화 방법은 5개를 선택했고, MSE의 차이는 거의 없었다.
• 베이지안 방법에서의 모형 평균화는 예측 성능을 향상시켜, 직접적으로 교차검증 오차를 최소화하지 않더라도 경쟁력을 확보한다.