[논문 리뷰] A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression

Young‐Seok Kim, Wei Wang외 2명|arXiv (Cornell University)|2022. 08. 23.

Bayesian Methods and Mixture Models인용 수 7

한 줄 요약

이 논문은 적응형 수축 사전분포와 변분 추론을 활용하여 예측 정확도가 최첨단 페널티 회귀 방법과 경쟁 가능한 빠르고 유연한 경험 베이즈 방법을 제안한다. 이 방법은 최적화를 통해 데이터로부터 직접 페널티 함수를 학습함으로써 교차검증이 필요 없으며, 라소와 유사한 계산 속도를 확보하면서도 희박한 신호와 조밀한 신호 설정 양쪽에 모두 적응한다.

ABSTRACT

We introduce a new empirical Bayes approach for large-scale multiple linear regression. Our approach combines two key ideas: (i) the use of flexible "adaptive shrinkage" priors, which approximate the nonparametric family of scale mixture of normal distributions by a finite mixture of normal distributions; and (ii) the use of variational approximations to efficiently estimate prior hyperparameters and compute approximate posteriors. Combining these two ideas results in fast and flexible methods, with computational speed comparable to fast penalized regression methods such as the Lasso, and with competitive prediction accuracy across a wide range of scenarios. Further, we provide new results that establish conceptual connections between our empirical Bayes methods and penalized methods. Specifically, we show that the posterior mean from our method solves a penalized regression problem, with the form of the penalty function being learned from the data by directly solving an optimization problem (rather than being tuned by cross-validation). Our methods are implemented in an R package, mr.ash.alpha, available from https://github.com/stephenslab/mr.ash.alpha.

연구 동기 및 목표

• 예측 정확도와 속도를 균형 잡고 대규모 다중 선형 회귀에 대해 계산적으로 효율적인 경험 베이즈 방법을 개발한다.
• 기존의 페널티 회귀 방법의 한계—예를 들어 라소의 과도한 수축과 튜닝 민감성—을 극복하기 위해 페널티 함수를 데이터로부터 직접 학습한다.
• 경험 베이즈와 페널티 회귀 간 격차를 메우기 위해 사후 평균이 데이터 적응형 페널티 회귀 문제를 해결함을 보여준다.
• 희박성 구조에 대한 사전 지식 없이도 희박하고 조밀한 신호 설정 양쪽에서 안정적인 성능을 유지한다.
• 더 빠른 수렴과 더 쉬운 구현을 가능하게 하여 MCMC 기반 베이지안 방법의 실용적이고 자가조정 가능한 대안을 제공한다.

제안 방법

• 유연한 사전분포를 정규분포의 유한한 혼합모형으로 정의하여 척도 혼합 정규분포 가족을 근사함으로써 회귀계수의 적응형 수축을 가능하게 한다.
• 변분 추론을 사용하여 사전분포의 초모수를 동시에 추정하고 근사 사후분포를 계산함으로써 계산 효율성을 확보한다.
• 사후 평균은 Tweedie의 공식을 통해 마진형 우도와 사후 평균 수축 연산자 간의 연결을 도출한다.
• 이 방법은 사후 평균을 데이터로부터 최적화를 통해 학습된 페널티 함수를 갖는 페널티 최소제곱 문제의 해로 공식화한다. 이는 교차검증이 아닌 최적화를 통해 페널티 함수를 학습함을 의미한다.
• 대칭 단조 증가 사전분포의 수학적 성질을 활용하여 수축 연산자가 대칭적이며, 양수 y에 대해 비감소하고 비음수임을 보장한다.
• 이 프레임워크는 GitHub에 공개된 R 패키지 mr.ash.alpha를 통해 구현되어 고차원 회귀에 대한 확장 가능한 응용을 지원한다.

실험 결과

연구 질문

• RQ1 경험 베이즈 접근법이 희박한 신호와 조밀한 신호 설정 양쪽에서 최고의 페널티 회귀 방법과 경쟁 가능한 예측 정확도를 달성할 수 있는가?
• RQ2 변분 추론을 어떻게 사용하여 고차원 회귀 환경에서 초모수와 사후분포를 효율적으로 추정할 수 있는가?
• RQ3 경험 베이즈 사후 평균과 페널티 회귀 간의 관계는 무엇이며, 페널티 함수를 데이터로부터 직접 학습할 수 있는가?
• RQ4 최적화를 통해 페널티 구조를 학습함으로써 교차검증이 필요 없이도 방법이 작동할 수 있는가?
• RQ5 제안된 방법은 사용자 지정 튜닝 파rameter 없이 다양한 데이터 생성 메커니즘에서 강력한 성능을 유지하는가?

주요 결과

• 제안된 방법은 라소, 엘라스틱넷, 비볼록 페널티를 포함한 최고의 성능을 보이는 페널티 회귀 방법들과 비교해도 희박하고 조밀한 신호 설정 전반에서 예측 정확도가 경쟁 가능하다.
• 이 방법의 계산 속도는 교차검증 라소와 같은 빠른 페널티 회귀 기법과 유사하여 대규모 데이터셋에 대한 확장성이 확보된다.
• 사후 평균이 데이터로부터 최적화를 통해 학습된 페널티 함수를 갖는 페널티 최소제곱 문제의 해임을 보여주며, 교차검증이 필요 없음을 입증한다.
• 이 방법은 희박한 신호와 조밀한 신호 상황에서 일관된 성능을 보이며, 진짜 신호 구조가 알려져 있지 않은 상황에서도 신뢰할 수 있는 선택이 될 수 있다.
• 이론적 분석을 통해 사후 평균 수축 연산자가 대칭적이며, 양수 y에 대해 비감소하고 비음수임을 확인하여 안정적이고 해석 가능한 수축 행동을 보장한다.
• 이 방법은 오픈소스 R 패키지 mr.ash.alpha를 통해 구현되어 재현성과 실제 응용 분야에서의 보편적 채택을 촉진한다.