[논문 리뷰] Empirical priors for prediction in sparse high-dimensional linear regression

Ryan Martin, Yiqi Tang|arXiv (Cornell University)|2019. 03. 03.

Statistical Methods and Inference참고 문헌 39인용 수 7

한 줄 요약

이 논문은 고차원 선형 회귀에 대한 새로운 경험적 베이즈 프레임워크를 제안하며, 데이터에 의존하는 사전분포를 사용하여 예측 정확도와 불확실성 측정을 향상시킨다. 데이터 기반 추정치에 기반하여 사전분포를 중심화하고 정규화를 추가함으로써, 공액 계산을 통해 빠른 사후확률 집중과 타당한 예측 구간을 달성하며, 유한 표본에서 기존 베이지안 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper we adopt the familiar sparse, high-dimensional linear regression model and focus on the important but often overlooked task of prediction. In particular, we consider a new empirical Bayes framework that incorporates data in the prior in two ways: one is to center the prior for the non-zero regression coefficients and the other is to provide some additional regularization. We show that, in certain settings, the asymptotic concentration of the proposed empirical Bayes posterior predictive distribution is very fast, and we establish a Bernstein--von Mises theorem which ensures that the derived empirical Bayes prediction intervals achieve the targeted frequentist coverage probability. The empirical prior has a convenient conjugate form, so posterior computations are relatively simple and fast. Finally, our numerical results demonstrate the proposed method's strong finite-sample performance in terms of prediction accuracy, uncertainty quantification, and computation time compared to existing Bayesian methods.

연구 동기 및 목표

• p ≫ n 인 희박한 고차원 선형 모델에서 정확한 예측을 달성하는 데 도전하는 것.
• 최적의 사후확률 집중 속도를 유지하면서도 계산이 효율적인 베이지안 예측 방법을 개발하는 것.
• 정확한 빈도주의 커버리지가 보장되는 예측 구간을 통해 타당한 불확실성 측정을 보장하는 것.
• 중심이 무거운 사전분포의 계산적 한계를 극복하기 위해 공액적이고 데이터 기반의 사전분포를 사용하는 것.
• 예측 정확도, 불확실성 측정, 계산 속도 면에서 기존의 베이지안 및 빈도주의 방법과 비교하여 강한 유한 표본 성능을 입증하는 것.

제안 방법

• 비제로 회귀 계수의 사전분포를 데이터 기반 추정치(예: 최소제곱 추정치)에 기반하여 중심화함으로써 경험적 사전분포를 구성하는 방법.
• 데이터에서 유도된 스케일링 인자에 의해 추가적인 정규화를 도입함으로써 안정성과 집중도를 향상시키는 방법.
• 결과적으로 도출된 경험적 베이즈 사후확률은 공액적 구조를 가지며, 표준 몬테카를로 샘플링을 통해 빠르고 효율적인 사후확률 계산이 가능하다.
• 예측 분포는 경험적 사후확률에서 유도되며, 점 추정치와 예측 구간을 생성하는 데 사용된다.
• 이론적 분석은 헬링거 거리와 쿨백-라이블러 발산을 활용하여 랜덤 설계 프레임워크 하에서 사후확률 집중 속도를 확립한다.
• 베르누이-빈스모어 정리가 확립되어, 정확한 빈도주의 커버리지가 보장되는 점근적 타당한 예측 구간을 보장한다.

실험 결과

연구 질문

• RQ1 희박한 고차원 선형 모델에서, 데이터 기반 사전분포를 설계하여 신속한 사후확률 집중을 달성할 수 있는가?
• RQ2 제안된 경험적 베이즈 프레임워크는 신속한 계산을 가능하게 하면서도 최적의 사후확률 집중 속도를 유지하는가?
• RQ3 결과적으로 도출된 예측 분포는 정확한 빈도주의 커버리지가 보장되는 타당한 불확실성 측정을 제공하는가?
• RQ4 기존의 베이지안 및 빈도주의 방법과 비교하여, 이 방법은 어떻게 유한 표본에서 성능을 발휘하는가?
• RQ5 경험적 사전분포의 공액적 구조를 활용하여 이론적 보장을 훼손하지 않고도 효율적인 샘플링을 수행할 수 있는가?

주요 결과

• 경험적 베이즈 사후예측 분포는 샘플 내 및 샘플 외 예측 설정 모두에서 거의 파rametric 수렴 속도를 달성한다.
• 베르누이-빈스모어 정리를 통해 예측 구간의 점근적 타당성이 보장되며, 정확한 빈도주의 커버리지가 보장된다.
• 희박성 조건 하에서 사후확률 집중 속도는 최적이며, 진짜 모형의 사후확률이 n → ∞ 일 때 1로 수렴한다.
• 경험적 사전분포 덕분에 공액 계산이 가능하여, 무거운 尾 사전분포를 사용하는 MCMC에 비해 빠르고 효율적인 샘플링이 가능하다.
• 수치적 결과는 기존의 베이지안 방법과 비교하여 예측 정확도, 불확실성 측정, 계산 시간 면에서 뛰어난 유한 표본 성능을 보여준다.
• p ≫ n 인 상황에서도 강력한 이론적 보장을 유지하며, 다차원 반응 변수(d > 1)의 경우에도 최소한의 수정만으로 결과가 확장된다.