[論文レビュー] A Systematic Bias of Machine Learning Regression Models and Its Correction: an Application to Imaging-based Brain Age Prediction

Hwiyoung Lee, Shuo Chen|arXiv (Cornell University)|May 24, 2024

Health, Environment, Cognitive AgingEnvironmental Science被引用数 3

ひとこと要約

この論文は、予測値が高い結果に対して系統的な低予測、低い結果に対しては系統的な高予測が生じる機械学習回帰モデルにおける系統的バイアスを同定し、補正する。そのために、不偏予測を強制する制約付き最適化フレームワークを導入した。この手法は神経画像ベースの脳年齢予測において検証され、RMSEの増加を最小限に抑えつつ、末端領域のバイアスを顕著に低減し、長年無視されてきた回帰モデリングの問題に対して強固な解決策を提供する。

ABSTRACT

Machine learning models for continuous outcomes often yield systematically biased predictions, particularly for values that largely deviate from the mean. Specifically, predictions for large-valued outcomes tend to be negatively biased (underestimating actual values), while those for small-valued outcomes are positively biased (overestimating actual values). We refer to this linear central tendency warped bias as the "systematic bias of machine learning regression". In this paper, we first demonstrate that this systematic prediction bias persists across various machine learning regression models, and then delve into its theoretical underpinnings. To address this issue, we propose a general constrained optimization approach designed to correct this bias and develop computationally efficient implementation algorithms. Simulation results indicate that our correction method effectively eliminates the bias from the predicted outcomes. We apply the proposed approach to the prediction of brain age using neuroimaging data. In comparison to competing machine learning regression models, our method effectively addresses the longstanding issue of "systematic bias of machine learning regression" in neuroimaging-based brain age calculation, yielding unbiased predictions of brain age.

研究の動機と目的

• 機械学習回帰モデルにおいて、特に極端な結果値に対して無視されてきた系統的バイアスを同定し、形式化すること。
• このバイアス—中央値への歪み（central tendency warping）—が、KRR、Lasso、XGBoost、ランダムフォレストといった多様なモデルにわたって継続することを示すこと。
• 後処理による補正に依存せず、目的関数レベルでバイアスを是正する一般化可能で計算効率の良い制約付き最適化アプローチを考案すること。
• 神経画像データを用いた実際の脳年齢予測において、この手法を検証し、年齢範囲全体にわたる予測の信頼性向上を示すこと。
• バイアスと分散のトレードオフに応じ、モデル性能を著しく損なわず、系統的誤差を低減する補正を提供すること。

提案手法

• 予測値に二重側の制約を課すことで、不偏予測を強制する制約付き最適化フレームワークを提唱する。
• 予測値と観測値の傾きを1に制約する一方で、平均二乗誤差を最小化する正則化された目的関数として補正を定式化する。
• 補正済みモデルが元のバイアスのあるモデルよりも低い平均二乗誤差を達成する理論的条件を導出する。これは $ R^2 $ とバイアス係数 $ c $ に依存する。
• 高次元データ（例：$ p > n $）である神経画像に適用可能な、計算的に効率的なアルゴリズムを実装して、制約付き最適化問題を解く。
• シミュレートデータおよび実際の神経画像データセット（HCP-A と UKBB）にこの手法を適用し、標準的な機械学習モデルと性能を比較する。
• 残差分析と残差と予測値の間の相関を用いてバイアス低減を評価し、散布図により残差に線形トレンドが存在しないことを可視化する。

Figure 1 : Illustration of regression to the mean: We simulated 1,000 observations for each training and testing set. We compared our proposed methods (represented in orange panels) with conventional machine learning methods (shown in grey panels), including Kernel Ridge Regression (KRR), Lasso Regr

実験結果

リサーチクエスチョン

• RQ1 KRR、Lasso、XGBoost、ランダムフォレストといった多様なアルゴリズムにわたって、機械学習回帰モデルにおける系統的バイアスが継続的に存在するか？
• RQ2 一般的な制約付き最適化アプローチは、後処理補正に依存せず、このバイアスを効果的に是正できるか？
• RQ3 実世界の脳年齢予測において、提案手法は標準的な機械学習モデルと比較してバイアス、RMSE、および残差パターンの点でどのように異なるか？
• RQ4 特に結果分布の末端領域において、バイアス低減と分散の増加のトレードオフはどのように影響するか？
• RQ5 制約付き最適化フレームワークは、神経画像を越えた高スループット回帰問題へも拡張可能か？

主な発見

• HCP-A データにおいて、提案された制約付き KRR はバイアスの傾きが 0.0769 にまで低下し、非制約付き KRR（0.4995）と比較して顕著に不偏に近い予測を達成した。
• UKBB データでは、制約付き KRR がバイアスの傾きを 0.0659 にまで低減したのに対し、非制約付きバージョンは 0.6705 にとどまり、強力なバイアス是正効果が確認された。
• HCP-A における制約付き KRR では、残差と予測値の相関が -0.0874 にまで低下したのに対し、非制約付き KRR では -0.7553 であった。これは、系統的な残差パターンが最小限に抑えられていることを示している。
• 下位四分位数（Q1）以下および上位四分位数（Q3）以上という末端領域では、制約付きモデルが顕著に低いバイアスを示した。例えば、HCP-A では制約付き KRR が -0.2421、非制約付き KRR が -8.5090 であった。これは極端な値での精度向上を裏付けている。
• HCP-A において、制約付き KRR の RMSE は 13.0182 に上昇したが、非制約付き KRR の 9.4118 よりもわずかに増加したにとどまり、バイアス低減の恩恵が顕著で、トレードオフとして正当化された。
• 両データセットにおいて、提案手法はすべての比較モデルを上回るバイアス低減効果を示した。特に、HCP-A データの下位末端領域では制約付き Lasso が最も優れた性能を示した。

Figure 2 : This Scatter plot, one result from 100 replications, shows the observed response $\mathbb{Y}$ ( $x$ -axis) and the residuals ( $y$ -axis) from various methods on the testing set. The reference dashed line represents $y=0$ .