[논문 리뷰] Prediction risk for global-local shrinkage regression

Anindya Bhadra, Jyotishka Datta외 3명|arXiv (Cornell University)|2016. 05. 16.

Gene expression and cancer classification참고 문헌 39인용 수 4

한 줄 요약

이 논문은 전역 수축 항목과 데이터 적응형 성분별 국소 수축을 두꺼운 尾를 가진 사전 분포를 통해 결합한 글로벌-로컬 수축 회귀 모델을 제안한다. 이는 전통적인 수축 방법의 두 가지 핵심 한계인 특이값에 대한 단조로운 수축과 반응 변수에 대한 의존성 부족을 해결함으로써 예측 위험을 개선한다. 시뮬레이션과 약물유전체학 데이터셋을 통한 검증을 통해 예측 오차가 감소함을 확인하였다.

ABSTRACT

Predictive performance in shrinkage regression suffers from two major difficulties: (i) the amount of relative shrinkage is monotone in the singular values of the design matrix and (ii) the amount of shrinkage does not depend on the response variables. Both of these factors can translate to a poor prediction performance, the risk of which can be explicitly quantified using Stein's unbiased risk estimate. We show that using a component-specific local shrinkage term that can be learned from the data under a suitable heavy-tailed prior, in combination with a global term providing shrinkage towards zero, can alleviate both these difficulties and consequently, can result in an improved risk for prediction. Demonstration of improved prediction performance over competing approaches in a simulation study and in a pharmacogenomics data set confirms the theoretical findings.

연구 동기 및 목표

• 특이값에 대한 단조로운 수축으로 인한 수축 회귀의 예측 성능 저하 문제를 해결하기 위해.
• 기존 수축 방법의 반응 변수에 대한 의존성 부족 문제를 극복하기 위해.
• 두꺼운 尾를 가진 사전 분포를 사용하여 데이터로부터 성분별 수축을 학습하는 모델을 개발하기 위해.
• Stein의 무편향 예측 위험 추정치(Stein's unbiased risk estimate)를 사용하여 예측 위험을 정량화하고 감소시키기 위해.
• 시뮬레이션과 실제 데이터에서 기존 접근법에 비해 향상된 예측 성능을 입증하기 위해.

제안 방법

• 전역 수축 파ameter와 성분별 국소 수축 파ameter를 갖는 계층적 베이지안 모델을 사용한다.
• 국소 수축 항목은 두꺼운 尾를 가진 정규 분포의 척도 혼합으로 모델링되며, 각 회귀 계수에 대해 데이터 기반 적응 가능성을 제공한다.
• 전역 성분은 계수를 0으로 수축시키고, 국소 성분은 데이터의 신호 강도에 따라 조정된다.
• 예측 위험은 Stein의 무편향 예측 위험 추정치(SURE)를 사용하여 정량화되며, 이는 이론적 위험 평가를 가능하게 한다.
• 모델은 계층적 베이즈 접근법을 사용하여 피팅되며, 하이퍼파am터의 경험 베이즈 추정이 가능하다.
• 모델은 시뮬레이션 데이터와 실제 약물유전체학 데이터셋에 모두 적용되어 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 반응 변수에 의존하는 수축을 통해 글로벌-로컬 수축 모델이 예측 위험을 감소시킬 수 있는가?
• RQ2 데이터로부터 학습된 성분별 국소 수축은 특이값에 대한 단조로운 수축 편향을 완화하는가?
• RQ3 제안된 방법은 기존 수축 방법에 비해 예측 정확도에서 어떻게 비교되는가?
• RQ4 두꺼운 尾를 가진 사전 분포의 사용이 수축 적응성과 예측 성능 향상에 어느 정도 기여하는가?
• RQ5 SURE로 예측된 이론적 위험 감소가 실제 데이터에서 관찰될 수 있는가?

주요 결과

• 제안된 글로벌-로컬 수축 모델은 기존 수축 방법에 비해 예측 위험을 상당히 감소시켰다.
• 시뮬레이션 연구에서 모델은 데이터 기반으로 각 회귀 계수에 따라 수축을 적응적으로 조정함으로써 예측 성능을 향상시켰다.
• 약물유전체학 데이터셋에서, 이 방법은 경쟁 기법들보다 예측 정확도에서 뛰어난 성능을 보였다.
• 두꺼운 尾를 가진 사전 분포의 사용은 국소 수축을 효과적으로 학습하여 중요한 신호의 과도한 수축을 줄였다.
• Stein의 무편향 예측 위험 추정치는 제안된 모델 하에서 이론적 예측 위험 감소를 확인했다.
• 모델은 특이값 구조에 대해 강건했으며, 고전적 릿지 또는 라소 회귀의 단조로운 수축 함정을 피했다.