[논문 리뷰] Think before you shrink: Alternatives to default shrinkage methods can improve prediction accuracy, calibration and coverage

Mark A. van de Wiel, Gwenaël G. R. Leday외 4명|arXiv (Cornell University)|2023. 01. 24.

Data Analysis with R인용 수 4

한 줄 요약

이 논문은 표준 라소 및 리지 회귀 분석의 대안으로 고도화된 수축 방법—차등 리지 펜alty와 계층적 베이지안 수축—을 제안하며, 저차원 회귀 설정에서 예측 정확도, 캘리브레이션, 신뢰구간의 커버리지가 크게 향상됨을 입증한다. 주요 기여는 이러한 방법이 편향을 줄이면서도 낮은 분산을 유지함으로써 기존의 기본 수축 기법들을 능가한다는 점이며, 재현 가능성과 불확실성 정량화를 위해 mgcv와 r-stan을 통해 구현 가능하다.

ABSTRACT

While shrinkage is essential in high-dimensional settings, its use for low-dimensional regression-based prediction has been debated. It reduces variance, often leading to improved prediction accuracy. However, it also inevitably introduces bias, which may harm two other measures of predictive performance: calibration and coverage of confidence intervals. Much of the criticism stems from the usage of standard shrinkage methods, such as lasso and ridge with a single, cross-validated penalty. Our aim is to show that readily available alternatives can strongly improve predictive performance, in terms of accuracy, calibration or coverage. For linear regression, we use small sample splits of a large, fairly typical epidemiological data set to illustrate this. We show that usage of differential ridge penalties for covariate groups may enhance prediction accuracy, while calibration and coverage benefit from additional shrinkage of the penalties. In the logistic setting, we apply an external simulation to demonstrate that local shrinkage improves calibration with respect to global shrinkage, while providing better prediction accuracy than other solutions, like Firth's correction. The benefits of the alternative shrinkage methods are easily accessible via example implementations using exttt{mgcv} and exttt{r-stan}, including the estimation of multiple penalties. A synthetic copy of the large data set is shared for reproducibility.

연구 동기 및 목표

• 저차원 회귀 모델에서 예측 정확도, 캘리브레이션, 신뢰구간 커버리지 간의 상충 관계를 해결하기 위해.
• 편향과 불안정성을 유발하는 단일 펜alty 라소 및 리지 방법의 기본 사용을 도전하기 위해.
• 차등 및 국소 수축 방법이 해석 가능성 손실 없이 예측 성능을 향상시킬 수 있음을 입증하기 위해.
• 에피디미올로지 및 생물통계학 분야의 응용 연구자들이 접근 가능하고 재현 가능한 구현을 제공하기 위해 mgcv와 r-stan을 활용한 구현을 제공하기 위해.
• 모델 신뢰도 향상과 불확실성 정량화를 위해 계층적 수축 및 펜alty 불확실성 모델링을 권장하기 위해.

제안 방법

• 변수군에 맞춘 맞춤형 차등 리지 펜alty 적용으로, 사전 변수 선택 없이 변수별 수축을 허용한다.
• 펜alty 분산에 대한 하이퍼프리오르를 갖춘 계층적 베이지안 사전분포를 사용하여 국소 수축을 가능하게 하고 추정치를 안정화한다.
• mgcv(빈도주의)와 r-stan(베이지안)을 활용한 다중 펜alty 추정을 통해 자동 튜닝과 불확실성 전파를 실현한다.
• 로지스틱 회귀에서 전역 대 비국소 수축을 시뮬레이션을 통해 비교하며, 펠스의 보정 및 실증 베이지안 접근법을 포함한다.
• 합성 데이터와 소규모 샘플 분할을 사용하여 n:p 비율이 다양한 조건에서 성능을 검증한다.
• 변형된 분산 추정을 통해 빈도주의 신뢰구간에 펜alty 불확실성을 통합하여 커버리지 향상.

실험 결과

연구 질문

• RQ1 저차원 설정에서 표준 리지 및 라소와 비교해 차등 리지 펜alty가 예측 정확도와 캘리브레이션을 향상시킬 수 있는가?
• RQ2 계층적 사전분포를 통한 국소 수축은 전역 수축과 비교해 캘리브레이션과 커버리지에 어떤 영향을 미치는가?
• RQ3 펜alty 분산에 하이퍼프리오르를 갖춘 베이지안 계층적 모델이 펜alty 파rameter의 안정성과 불확실성 정량화에 얼마나 기여하는가?
• RQ4 로지스틱 회귀에서 Firth의 보정보다 우수한 캘리브레이션과 예측 정확도를 유지하면서도 다른 수축 방법이 성능을 뛰어넘을 수 있는가?
• RQ5 일반 최소제곱법 대비 고도화된 수축 방법의 성능 향상은 편향, 분산, 커버리지 측면에서 어떻게 평가되는가?

주요 결과

• 차등 리지 펜alty는 변수군별 수축을 허용함으로써 선형 회귀에서 예측 정확도를 크게 향상시켰으며, 표준 리지 및 라소를 능가했다.
• 계층적 사전분포를 통한 국소 수축은 캘리브레이션과 신뢰구간 커버리지 향상에 기여하여 전역 수축 방법 대비 편향을 감소시켰다.
• 펜alty 분산에 하이퍼프리오르를 갖춘 베이지안 계층적 모델은 고정 또는 교차검증 펜alty보다 더 나은 불확실성 정량화와 더 안정적인 펜alty 추정치를 제공했다.
• 제안된 방법은 로지스틱 회귀에서 Firth의 보정보다 더 나은 캘리브레이션을 달성하면서도 예측 정확도를 유지하거나 향상시켰다.
• mgcv와 r-stan을 활용한 구현은 다중 펜alty 자동 추정과 신뢰할 수 있는 커버리지 제공이 가능했으며, 소규모 표본에서도 유사한 성능을 보였다.
• 합성 데이터셋과 예제 코드 덕분에 재현 가능성이 보장되어 에피디미올로지 및 생물통계학 분야의 응용 연구자들이 쉽게 도입할 수 있게 되었다.