[論文レビュー] Think before you shrink: Alternatives to default shrinkage methods can improve prediction accuracy, calibration and coverage

Mark A. van de Wiel, Gwenaël G. R. Leday+4 more|arXiv (Cornell University)|Jan 24, 2023

Data Analysis with R被引用数 4

ひとこと要約

本論文は、標準的なlassoおよびリッジ回帰の代替として、微分リッジペナルティと階層ベイズ的縮小を含む高度な縮小手法を提案し、低次元回帰設定において予測精度、キャリブレーション、信頼区間のカバレッジを著しく向上させることを示している。主な貢献は、これらの手法がバイアスを低減しながらも分散を低く保つことで、デフォルトの縮小手法を上回ることであり、再現性および不確実性の定量化のため、mgcvおよびr-stanを介した実装が可能である。

ABSTRACT

While shrinkage is essential in high-dimensional settings, its use for low-dimensional regression-based prediction has been debated. It reduces variance, often leading to improved prediction accuracy. However, it also inevitably introduces bias, which may harm two other measures of predictive performance: calibration and coverage of confidence intervals. Much of the criticism stems from the usage of standard shrinkage methods, such as lasso and ridge with a single, cross-validated penalty. Our aim is to show that readily available alternatives can strongly improve predictive performance, in terms of accuracy, calibration or coverage. For linear regression, we use small sample splits of a large, fairly typical epidemiological data set to illustrate this. We show that usage of differential ridge penalties for covariate groups may enhance prediction accuracy, while calibration and coverage benefit from additional shrinkage of the penalties. In the logistic setting, we apply an external simulation to demonstrate that local shrinkage improves calibration with respect to global shrinkage, while providing better prediction accuracy than other solutions, like Firth's correction. The benefits of the alternative shrinkage methods are easily accessible via example implementations using exttt{mgcv} and exttt{r-stan}, including the estimation of multiple penalties. A synthetic copy of the large data set is shared for reproducibility.

研究の動機と目的

• 低次元回帰モデルにおける予測精度、キャリブレーション、信頼区間カバレッジのトレードオフを解消すること。
• バイアスと不安定性を引き起こす単一ペナルティlassoおよびリッジ手法のデフォルト使用を疑問視すること。
• 微分および局所的縮小手法が、解釈可能性を損なわずに予測性能を向上させられることを示すこと。
• 疫学および生物統計学の応用研究者に向け、mgcvおよびr-stanを用いたアクセス可能で再現可能な実装を提供すること。
• モデルの信頼性および不確実性の定量化を向上させるために、階層的縮小およびペナルティの不確実性モデリングを提唱すること。

提案手法

• 共変数のグループに特化した微分リッジペナルティの適用により、事前の変数選択を経ずに変数固有の縮小を可能にする。
• ペナルティ分散のハイパーパラメータを備えた階層ベイズ的事前分布の使用により、局所的縮小と推定の安定化を実現する。
• mgcv（頻度主義）およびr-stan（ベイズ）による複数ペナルティの推定を実装し、自動チューニングと不確実性の伝播を可能にする。
• シミュレーションを用いたロジスティック回帰におけるグローバル縮小とローカル縮小の比較、Firth補正およびエムピリカルベイズ手法の含む。
• 合成データと小規模なサンプル分割を用いて、n:p比の変動に応じた性能の妥当性を検証する。
• 修正された分散推定を用いて頻度主義的区間におけるペナルティの不確実性を組み込み、カバレッジを改善する。

実験結果

リサーチクエスチョン

• RQ1 微分リッジペナルティは、低次元設定において標準的リッジおよびlassoと比較して、予測精度とキャリブレーションを向上させることができるか？
• RQ2 階層的事前分布による局所的縮小は、グローバル縮小と比較してキャリブレーションとカバレッジにどのような影響を与えるか？
• RQ3 ペナルティ分散にハイパーパラメータを備えたベイズ的階層モデルは、ペナルティパラメータの安定性および不確実性の定量化をどの程度向上させるか？
• RQ4 代替的縮小手法は、ロジスティック回帰においてFirth補正を上回り、より良いキャリブレーションと予測精度を維持できるか？
• RQ5 通常最小二乗法と比較して、高度な縮小手法の性能向上はバイアス、分散、カバレッジの観点でどの程度顕著か？

主な発見

• 微分リッジペナルティは、変数グループ固有の縮小を可能にすることで、線形回帰において予測精度を著しく向上させ、標準的リッジおよびlassoを上回った。
• 階層的事前分布による局所的縮小は、グローバル縮小手法と比較してキャリブレーションと信頼区間のカバレッジを向上させ、バイアスを低減した。
• ペナルティ分散にハイパーパラメータを備えたベイズ的階層モデルは、固定または交差検証によるペナルティと比較して、より優れた不確実性の定量化とより安定したペナルティ推定を提供した。
• 提案手法は、ロジスティック回帰においてFirth補正を上回るキャリブレーションを達成しながら、予測精度を維持または向上させた。
• mgcvおよびr-stanを用いた実装により、複数ペナルティの自動推定が可能となり、小規模なサンプルでも信頼性の高いカバレッジが得られた。
• 合成データセットおよび例示コードのおかげで、疫学および生物統計学分野の応用研究者による再現性と導入が容易になった。