[논문 리뷰] A Systematic Bias of Machine Learning Regression Models and Its Correction: an Application to Imaging-based Brain Age Prediction

Hwiyoung Lee, Shuo Chen|arXiv (Cornell University)|2024. 05. 24.

Health, Environment, Cognitive AgingEnvironmental Science인용 수 3

한 줄 요약

이 논문은 기계학습 회귀 모델에서 고값 예측은 체계적으로 과소평가되고 저값 예측은 과대평가되는 체계적 편향을 규명하고 수정한다. 이는 예측이 편향 없이 이루어지도록 보장하는 제약 최적화 프레임워크를 도입함으로써 이루어지며, 뇌 영상 기반 뇌 연령 예측에 대해 검증된 결과, RMSE는 경쟁 수준을 유지하면서 꼬리 편향을 크게 감소시켜 오랫동안 간과되어 온 회귀 모델링 문제에 대한 견고한 해결책을 제시한다.

ABSTRACT

Machine learning models for continuous outcomes often yield systematically biased predictions, particularly for values that largely deviate from the mean. Specifically, predictions for large-valued outcomes tend to be negatively biased (underestimating actual values), while those for small-valued outcomes are positively biased (overestimating actual values). We refer to this linear central tendency warped bias as the "systematic bias of machine learning regression". In this paper, we first demonstrate that this systematic prediction bias persists across various machine learning regression models, and then delve into its theoretical underpinnings. To address this issue, we propose a general constrained optimization approach designed to correct this bias and develop computationally efficient implementation algorithms. Simulation results indicate that our correction method effectively eliminates the bias from the predicted outcomes. We apply the proposed approach to the prediction of brain age using neuroimaging data. In comparison to competing machine learning regression models, our method effectively addresses the longstanding issue of "systematic bias of machine learning regression" in neuroimaging-based brain age calculation, yielding unbiased predictions of brain age.

연구 동기 및 목표

• 기계학습 회귀 모델에서 극단적 결과값에 대해 이전에 간과되었던 체계적 편향을 규명하고 수식화하는 것.
• 이 편향—중심 경향 왜곡으로 특징지어지는 것—이 KRR, 라소, XGBoost, 랜덤 포레스트와 같은 다양한 모델에서 지속됨을 보여주는 것.
• 후행 조정이 아닌 목표 함수 수준에서 이 편향을 수정할 수 있는 일반적이고 계산 효율적인 제약 최적화 접근법을 개발하는 것.
• 실제 뇌 영상 데이터를 활용해 뇌 연령 예측에 대해 이 방법을 검증함으로써 전체 연령 범위에서의 예측 신뢰도 향상을 보여주는 것.
• 편향-분산 트레이드오프를 해결하기 위해, 모델 성능을 크게 훼손하지 않으면서 체계적 오차를 줄이는 수정 방법을 제공하는 것.

제안 방법

• 모델 출력에 이중 제약 조건을 부여하여 편향 없는 예측을 강제하는 제약 최적화 프레임워크를 제안하는 것.
• 예측값 대 관측값의 기울기를 1로 제약하면서 평균 제곱오차를 최소화하는 정규화된 목표 함수로 수정을 수식화하는 것.
• 수정된 모델이 원래 편향된 모델보다 더 낮은 평균 제곱오차를 얻을 수 있는 이론적 조건을 유도하며, 이는 $ R^2 $ 와 편향 계수 $ c $ 에 따라 달라진다.
• 고차원 데이터(예: $ p > n $)인 뇌 영상과 같은 분야에 적용 가능한 계산 효율적인 알고리즘을 구현하는 것.
• 모의 데이터와 실제 뇌 영상 데이터셋(HCP-A 및 UKBB)에 이 방법을 적용하여 표준 기계학습 모델과의 성능을 비교하는 것.
• 잔차 분석 및 잔차와 예측값 간의 상관관계를 사용해 편향 감소를 평가하며, 산점도를 통해 잔차에 선형 추세가 없는 것을 시각화하는 것.

Figure 1 : Illustration of regression to the mean: We simulated 1,000 observations for each training and testing set. We compared our proposed methods (represented in orange panels) with conventional machine learning methods (shown in grey panels), including Kernel Ridge Regression (KRR), Lasso Regr

실험 결과

연구 질문

• RQ1 KRR, 라소, XGBoost, 랜덤 포레스트와 같은 다양한 알고리즘에 걸쳐 기계학습 회귀 모델에서 체계적 편향이 지속되는가?
• RQ2 일반적인 제약 최적화 접근법이 후행 보정 단계에 의존하지 않고 이 편향을 효과적으로 수정할 수 있는가?
• RQ3 실제 뇌 연령 예측에서 제안된 방법은 표준 기계학습 모델과 비교해 편향, RMSE, 잔차 패턴 측면에서 어떻게 성능을 내는가?
• RQ4 특히 결과 분포의 꼬리 영역에서, 편향 감소와 증가한 분산 사이의 트레이드오프는 어떠한가?
• RQ5 이 제약 최적화 프레임워크는 뇌 영상 외의 고스루풋 회귀 문제로도 확장 가능한가?

주요 결과

• HCP-A 데이터에서 제안된 제약 KRR는 편향 기울기를 0.0769로 산출하여, 제약이 없는 KRR(0.4995)보다 훨씬 낮은 수준의 편향 예측을 보였다.
• UKBB 데이터에서 제약 KRR는 편향 기울기를 0.0659로 줄였고, 제약이 없는 버전은 0.6705였으며, 이는 강력한 편향 보정 효과를 보였다.
• HCP-A에서 제약 KRR의 잔차와 예측값 간 상관계수는 -0.0874로 줄었고, 제약이 없는 KRR는 -0.7553이었으며, 이는 체계적 잔차 패턴이 거의 없음을 시사했다.
• Q1 이하 및 Q3 초과 꼬리 영역에서 제약 모델은 훨씬 낮은 편향을 보였다. 예를 들어 HCP-A에서 제약 KRR는 -0.2421, 제약이 없는 KRR는 -8.5090이었으며, 이는 극단값에서의 정확도 향상을 확인시켰다.
• HCP-A에서 RMSE는 제약 KRR가 13.0182로 제약이 없는 KRR(9.4118)보다 약간 증가했지만, 편향 감소의 효과는 매우 크며 이 트레이드오프는 정당화되었다.
• 모든 경쟁 모델 대비 두 데이터셋에서 편향 감소 측면에서 뛰어난 성능을 보였으며, HCP-A 데이터의 하단 꼬리 영역에서 제약 라소가 가장 우수한 성능을 보였다.

Figure 2 : This Scatter plot, one result from 100 replications, shows the observed response $\mathbb{Y}$ ( $x$ -axis) and the residuals ( $y$ -axis) from various methods on the testing set. The reference dashed line represents $y=0$ .