[논문 리뷰] Model Prior Distribution for Variable Selection in Linear Regression Models

J Lee, Lee, Jeong Eun|arXiv (Cornell University)|2015. 12. 26.

Statistical Methods and Bayesian Inference참고 문헌 30인용 수 3

한 줄 요약

이 논문은 선형 회귀에서 베이지안 변수 선택을 위한 새로운 목적의 모델 사전 분포를 제안하며, 모델의 가치를 측정하기 위해 쿨백-라이블러 발산 손실을 기반으로 한다. 비정보적 설정 하에서 시뮬레이션 연구에서 균일 분포 및 스코트 & 버거 사전 분포보다 우수한 성능을 보이며, 특히 모델 크기의 정확한 추정과 사후 빈도주의 성능 향상에서 뛰어나다.

ABSTRACT

In this work we discuss a novel model prior probability for variable selection in linear regression. The idea is to determine the prior mass in an objective sense, by considering the worth of each of the possible regression models, given the number of covariates under consideration. Through a simulation study, we show that the proposed prior outperforms the uniform prior and the Scott \& Berger prior in a scenario of no prior knowledge about the size of the true regression models. We illustrate the use of the prior using two well-known data sets with, respectively, 15 and 4 covariates.

연구 동기 및 목표

• 선형 회귀에서 변수 선택을 위한 객관적이고 데이터 기반의 모델 사전 분포를 개발하여 각 모델의 본질적 가치를 반영한다.
• 진짜 모델 크기의 사전 지식이 없는 상황에서 균일 분포 및 스코트 & 버거 사전 분포의 한계를 해결한다.
• 원칙적인 손실 기반 접근을 통해 사후 모델 크기 추정의 빈도주의 성능을 향상시킨다.
• 고차원 변수 선택에서 기존의 모델 사전 분포에 대한 최소한의 정보를 갖지만 통계적으로 일관된 대안을 제공한다.

제안 방법

• 제안된 사전 분포는 서로 경쟁하는 모델 간의 쿨백-라이블러(KL) 발산을 기반으로 모델 확률을 할당하며, 이는 모델 간 통계적 구별 가능성을 측정한다.
• 모델의 가치는 다른 모델들과의 KL 발산을 최소화함으로써 측정되며, 낮은 발산은 높은 모델 가치를 의미한다.
• 사전 분포는 모델 크기(예측 변수의 수)에 의존하도록 구성되어 모델 공간의 복잡성에 적응하도록 보장한다.
• 표본 분포 하에서 기대 KL 발산을 사용하여 예측 적합성의 열악한 모델을 페널티 처리하는 사전 분포를 유도한다.
• 시뮬레이션 및 실데이터 분석을 통해 균일 분포 및 스코트 & 버거 사전 분포와 비교하며, 사후 모델 크기 성능에 중점을 둔다.
• 관측된 데이터로 진짜 모델에 대한 사전 불확실성을 갱신하여 사후 분포를 도출함으로써 베이지안 프레임워크에 통합된다.

실험 결과

연구 질문

• RQ1 주관적인 가정에 의존하지 않고 회귀 모델 간 상대적 가치를 반영할 수 있는 객관적 모델 사전를 어떻게 구성할 수 있는가?
• RQ2 손실 기반 모델 사전는 균일 분포 및 스코트 & 버거 사전 분포보다 빈도주의 성능을 향상시키는가?
• RQ3 진짜 모델 크기에 대한 사전 정보가 없는 상황에서 제안된 사전 분포는 진짜 모델을 더 잘 식별할 수 있는가?
• RQ4 미리 알려진 구조를 가진 실세계 데이터 세트(예: 미국 범죄 데이터 및 할드 데이터)에서 제안된 사전 분포는 어떻게 성능을 보이는가?
• RQ5 모델 복잡도(예측 변수의 수)는 제안된 사전 분포의 성능에 어떤 영향을 미치는가?

주요 결과

• 시뮬레이션 연구에서 제안된 손실 기반 모델 사전 분포는 사후 모델 크기 추정의 빈도주의 정확도에서 균일 분포보다 유의미하게 뛰어나다.
• 특히 진짜 모델 크기의 사전 지식이 없는 상황에서 스코트 & 버거 사전 분포보다 뛰어난 성능을 보였다.
• 시뮬레이션 결과에서 제안된 사전 분포 하의 사후 모델 크기 분포는 다른 사전 분포보다 진짜 모델 크기 주변에 더 집중되어 있었다.
• 미국 범죄 데이터 세트(15개 예측 변수)에서 제안된 사전 분포는 기준 사전 분포보다 더 단순하고 안정된 모델을 식별했다.
• 할드 데이터 세트(4개 예측 변수)에서 제안된 사전 분포는 알려진 회귀 구조와 더 잘 일치하는 사후 모델 분포를 생성했으며, 예측 성능도 향상시켰다.
• 모델 크기에 대한 의존성 덕분에 과도하게 복잡한 모델을 자연스럽게 페널티 처리하면서도 진짜 신호에 민감하게 반응한다.