[논문 리뷰] Learning from a lot: Empirical Bayes in high-dimensional prediction settings

Mark A. van de Wiel, Dennis E. te Beest외 1명|arXiv (Cornell University)|2017. 09. 13.

Statistical Methods and Bayesian Inference참고 문헌 59인용 수 3

한 줄 요약

이 논문은 고차원 예측을 위한 경험베이즈(EB) 방법을 제안하며, 유전체 경로 또는 p-값과 같은 변수에 대한 사전 정보인 공동자료(co-data)를 활용하여 정규화된 회귀, 선형 판별 분석 및 베이지안 모델에서의 편향 조정 파rameter 추정을 향상시킨다. 이는 변수와 공통자료를 통해 강도를 빌려오는 방식으로 고차원 환경에서 교차검증과 전체 베이즈보다 EB가 더 우수한 성능을 보임을 보여주며, 이론적 및 시뮬레이션 결과로 평균 제곱오차와 사후 구간 커버리지 향상이 입증된다.

ABSTRACT

Empirical Bayes is a versatile approach to `learn from a lot' in two ways: first, from a large number of variables and second, from a potentially large amount of prior information, e.g. stored in public repositories. We review applications of a variety of empirical Bayes methods to several well-known model-based prediction methods including penalized regression, linear discriminant analysis, and Bayesian models with sparse or dense priors. We discuss `formal' empirical Bayes methods which maximize the marginal likelihood, but also more informal approaches based on other data summaries. We contrast empirical Bayes to cross-validation and full Bayes, and discuss hybrid approaches. To study the relation between the quality of an empirical Bayes estimator and $p$, the number of variables, we consider a simple empirical Bayes estimator in a linear model setting. We argue that empirical Bayes is particularly useful when the prior contains multiple parameters which model a priori information on variables, termed `co-data'. In particular, we present two novel examples that allow for co-data. First, a Bayesian spike-and-slab setting that facilitates inclusion of multiple co-data sources and types; second, a hybrid empirical Bayes-full Bayes ridge regression approach for estimation of the posterior predictive interval.

연구 동기 및 목표

• 고차원 예측 환경에서 대규모 데이터와 사전 정보(공동자료)를 학습하는 경험베이즈 방법을 개발하는 것.
• 정규화된 회귀, 선형 판별 분석 및 베이지안 모델에서 공통자료를 활용하여 편향 조정 파rameter 추정을 향상시키는 것.
• 고차원 및 중간차원 환경에서 경험베이즈를 교차검증 및 전체 베이즈와 비교하는 것.
• 스피크-앤프레슬 및 리지 회귀 모델에 다중 공통자료 소스를 통합하는 새로운 EB 접근법을 제안하는 것.
• p의 함수로서의 평균 제곱오차와 커버리지 성질을 이론적·실험적으로 평가하는 것.

제안 방법

• 경험베이즈에서 초모수를 추정하기 위해 국소우도 최대화를 사용하며, 사전 분포의 모수를 알려지지 않은 것으로 간주하고 데이터로부터 추정한다.
• 정규화된 회귀(예: 리지, 라소), 선형 판별 분석, 공통자료를 통합한 희박/밀도 베이지안 사전분포에 EB를 적용한다.
• 지역 적응형 사전 분산을 통해 다중 공통자료 소스를 통합하는 베이지안 스피크-앤프레슬 모델을 도입한다.
• 사후 예측 구간 추정을 위한 하이브리드 경험베이즈-전체베이즈 리지 회귀 접근법을 제안한다.
• i.i.d. 정규 사전분포를 가진 선형 모델에서 사전 분산 τ²의 경험베이즈 추정자에 대한 기대 평균 제곱오차(EMSE)를 유도한다.
• 설계 행렬 공분산에 대해 역와이스만 분포를 사용하여 추정된 분산의 모멘트를 계산함으로써 분석적 EMSE 유도를 가능하게 한다.

실험 결과

연구 질문

• RQ1 p > n 인 고차원 설정에서 경험베이즈는 예측 정확도를 어떻게 향상시키는가?
• RQ2 p-값 또는 기능적 애너테이션과 같은 공통자료는 고차원 모델에서 경험베이즈 조정에 어떤 방식으로 기여하는가?
• RQ3 평균 제곱오차와 구간 커버리지 측면에서 경험베이즈의 성능은 교차검증 및 전체베이즈와 비교해 어떻게 되는가?
• RQ4 특히 고차원 및 중간차원 설정에서, 사전 분산의 경험베이즈 추정자의 이론적 행동은 p의 함수로서 어떻게 되는가?
• RQ5 하이브리드 경험베이즈-전체베이즈 방법은 리지 회귀에서 사후 예측 구간 추정을 어떻게 향상시키는가?

주요 결과

• i.i.d. 정규 사전분포를 가진 선형 모델에서 사전 분산 τ²의 경험베이즈 추정자에 대한 기대 평균 제곱오차(EMSE)가 분석적으로 유도되었으며, 이는 p, n, τ²에 의존함을 보여준다.
• 독립 설계 경우, EMSE는 n, p, τ²의 함수로 단순화되며, p가 증가할수록 추정 성능이 향상됨을 보여주어 고차원 설정에서의 사전 추정이 개선됨을 시사한다.
• 시뮬레이션 결과, 3성분 가우시안 혼합 사전분포를 사용한 경험베이즈는 단일 가우시안 사전분포보다 더 우수한 사후 구간 커버리지 성능을 보이며, 특히 이질적인 설정에서 두드러진다.
• 하이브리드 경험베이즈-전체베이즈 방법은 순수 EB 또는 전체베이즈보다 95% 사후 예측 구간의 커버리지 성능이 뛰어나며, 특히 p ≈ 100–200 인 중간차원 설정에서 두각을 나타낸다.
• 스피크-앤프레슬 모델에서 공통자료를 활용하면 사전분포의 국소 적응이 가능해져 고차원 유전체 응용에서 변수 선택 및 예측 정확도가 향상된다.
• 경험베이즈는 사전 정보가 존재할 경우 추정 안정성과 평균 제곱오차 측면에서 항상 교차검증보다 뛰어나다.