[论文解读] A Systematic Bias of Machine Learning Regression Models and Its Correction: an Application to Imaging-based Brain Age Prediction

Hwiyoung Lee, Shuo Chen|arXiv (Cornell University)|May 24, 2024

Health, Environment, Cognitive AgingEnvironmental Science被引用 3

一句话总结

本文识别并纠正了机器学习回归模型中的一种系统性偏差——即对高结果值的预测系统性偏低，对低结果值的预测系统性偏高——通过引入一种约束优化框架，强制实现无偏预测。该方法在基于神经影像学的脑年龄预测中得到验证，显著减少了尾部分布偏差，同时保持了具有竞争力的均方根误差（RMSE），为长期被忽视的回归建模问题提供了一种稳健解决方案。

ABSTRACT

Machine learning models for continuous outcomes often yield systematically biased predictions, particularly for values that largely deviate from the mean. Specifically, predictions for large-valued outcomes tend to be negatively biased (underestimating actual values), while those for small-valued outcomes are positively biased (overestimating actual values). We refer to this linear central tendency warped bias as the "systematic bias of machine learning regression". In this paper, we first demonstrate that this systematic prediction bias persists across various machine learning regression models, and then delve into its theoretical underpinnings. To address this issue, we propose a general constrained optimization approach designed to correct this bias and develop computationally efficient implementation algorithms. Simulation results indicate that our correction method effectively eliminates the bias from the predicted outcomes. We apply the proposed approach to the prediction of brain age using neuroimaging data. In comparison to competing machine learning regression models, our method effectively addresses the longstanding issue of "systematic bias of machine learning regression" in neuroimaging-based brain age calculation, yielding unbiased predictions of brain age.

研究动机与目标

• 识别并形式化此前被忽视的机器学习回归模型中的系统性偏差，尤其针对极端结果值。
• 证明这种偏差——表现为集中趋势扭曲——在多种模型（如KRR、Lasso、XGBoost和随机森林）中持续存在。
• 开发一种通用且计算高效的约束优化方法，从目标函数层面纠正该偏差，而非依赖事后调整。
• 在真实神经影像数据上验证该方法在脑年龄预测中的有效性，展示其在整个年龄范围内的预测可靠性提升。
• 通过提供一种在不显著牺牲模型性能的前提下减少系统性误差的校正方法，解决偏差-方差权衡问题。

提出的方法

• 提出一种约束优化框架，通过在模型输出上施加双向约束，强制实现无偏预测。
• 将校正方法形式化为正则化目标函数，最小化均方误差，同时将预测值与观测值之间斜率约束为1。
• 推导出在 $ R^2 $ 和偏差系数 $ c $ 的特定条件下，校正后模型的均方误差低于原始有偏模型的理论条件。
• 实现一种计算高效的算法，以求解约束优化问题，适用于高维数据（如 $ p > n $）场景，例如神经影像学数据。
• 将该方法应用于模拟数据和真实神经影像数据集（HCP-A 和 UKBB），并与标准机器学习模型进行性能比较。
• 使用残差分析以及残差与预测值之间的相关性来评估偏差减少程度，并通过散点图可视化残差中线性趋势的消失。

Figure 1 : Illustration of regression to the mean: We simulated 1,000 observations for each training and testing set. We compared our proposed methods (represented in orange panels) with conventional machine learning methods (shown in grey panels), including Kernel Ridge Regression (KRR), Lasso Regr

实验结果

研究问题

• RQ1 机器学习回归模型中的系统性偏差是否在包括 KRR、Lasso、XGBoost 和随机森林在内的多种算法中持续存在？
• RQ2 一种通用的约束优化方法是否能有效纠正该偏差，而无需依赖事后校正步骤？
• RQ3 在现实世界的脑年龄预测中，与标准机器学习模型相比，该方法在偏差、RMSE 和残差模式方面表现如何？
• RQ4 在结果分布的尾部区域，校正模型中偏差减少与方差增加之间的权衡如何，尤其在极端值区域？
• RQ5 该约束优化框架是否可扩展至神经影像学以外的其他高通量回归问题？

主要发现

• 在 HCP-A 数据上，所提出的约束 KRR 方法的偏差斜率为 0.0769，显著低于无约束 KRR 的 0.4995，表明预测接近无偏。
• 在 UKBB 数据上，约束 KRR 将偏差斜率降低至 0.0659，而无约束版本为 0.6705，证明了强大的偏差校正能力。
• 在 HCP-A 上，约束 KRR 的残差与预测值之间的相关性降至 -0.0874，而无约束 KRR 为 -0.7553，表明系统性残差模式显著减少。
• 在尾部区域（低于第一四分位数 Q1 和高于第三四分位数 Q3），约束模型表现出显著降低的偏差——例如，在 HCP-A 上，约束 KRR 的偏差为 -0.2421，而无约束 KRR 为 -8.5090，证实了在极端值区域的预测准确性提升。
• 尽管 RMSE 略有增加（HCP-A 上约束 KRR 为 13.0182，无约束 KRR 为 9.4118），但偏差减少的改善显著，证明该权衡是合理的。
• 在两个数据集上，该方法在偏差减少方面均优于所有对比模型，其中约束 Lasso 在 HCP-A 数据的下尾区域表现最佳。

Figure 2 : This Scatter plot, one result from 100 replications, shows the observed response $\mathbb{Y}$ ( $x$ -axis) and the residuals ( $y$ -axis) from various methods on the testing set. The reference dashed line represents $y=0$ .