[논문 리뷰] The harm of class imbalance corrections for risk prediction models: illustration and simulation using logistic regression

Ruben van den Goorbergh, Maarten van Smeden외 2명|arXiv (Cornell University)|2022. 02. 18.

Medical Coding and Health Information인용 수 9

한 줄 요약

이 연구는 위험 예측에서 로지스틱 회귀 및 릿지 로지스틱 회귀 모델에 대한 클래스 불균형 보정 방법—무작위 언더샘플링, 오버샘플링, SMOTE—의 영향을 조사한다. 이는 보정이 민감도와 특이도를 향상시키지만, 소수의 클래스 확률을 과도하게 추정함으로써 보정을 악화시킨다는 것을 보여주며, 이는 확률 임계값 조정을 통해 더 신뢰성 있게 달성될 수 있다.

ABSTRACT

Methods to correct class imbalance, i.e. imbalance between the frequency of outcome events and non-events, are receiving increasing interest for developing prediction models. We examined the effect of imbalance correction on the performance of standard and penalized (ridge) logistic regression models in terms of discrimination, calibration, and classification. We examined random undersampling, random oversampling and SMOTE using Monte Carlo simulations and a case study on ovarian cancer diagnosis. The results indicated that all imbalance correction methods led to poor calibration (strong overestimation of the probability to belong to the minority class), but not to better discrimination in terms of the area under the receiver operating characteristic curve. Imbalance correction improved classification in terms of sensitivity and specificity, but similar results were obtained by shifting the probability threshold instead. Our study shows that outcome imbalance is not a problem in itself, and that imbalance correction may even worsen model performance.

연구 동기 및 목표

• 로지스틱 회귀에서 클래스 불균형 보정 기법의 영향을 위험 예측 모델 성능에 대해 평가하기.
• SMOTE, 언더샘플링, 오버샘플링과 같은 방법이 분류 성능 향상에 기여하는지 평가하기 (분류 능력, 보정, 분류 지표 측정).
• 실제 임상 예측 모델링 환경에서 불균형 보정의 이점이 위험을 초월하는지 판단하기.
• 불균형 보정된 모델의 성능을 단순한 임계값 이동과 비교하여 민감도와 특이도 최적화를 위한 성능 분석하기.
• 저유병률 결과 설정에서 불균형 보정의 뜻하지 않은 결과에 대한 실증적이고 시뮬레이션 기반 증거 제공하기.

제안 방법

• 다양한 수준의 클래스 불균형과 유병률를 가진 시뮬레이션 데이터셋을 사용한 몬테카를로 시뮬레이션 수행.
• 기본 및 릿지 로지스틱 회귀 모델을 원본 및 불균형 보정된 데이터셋에 적용.
• 세 가지 불균형 보정 기법 적용: 무작위 언더샘플링, 무작위 오버샘플링, SMOTE (합성 소수 과도 샘플링 기법).
• 분류 능력(AUC-ROC), 보정(보정 플롯 및 보정 기울기), 분류 성능(민감도, 특이도, F1 점수)을 사용해 모델 성능 평가.
• 임상적 맥락에서 시뮬레이션 결과를 검증하기 위해 실제 난소암 진단 데이터를 활용한 사례 연구 수행.
• 보정 기법 간 모델 출력 비교 및 임계값 이동이 분류 성능에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 클래스 불균형 보정이 AUC-ROC로 측정된 로지스틱 회귀 모델의 분류 능력을 향상시키는가?
• RQ2 다양한 불균형 보정 기법이 위험 예측 모델의 보정에 어떤 영향을 미치는가?
• RQ3 데이터 조작 없이도 확률 임계값 조정만으로 동일한 분류 성능 향상(예: 민감도 및 특이도)을 달성할 수 있는가?
• RQ4 저유병률 결과에서 불균형 보정이 소수의 클래스 확률 추정에 어떤 영향을 미치는가?
• RQ5 소수 결과의 위험을 과도하게 추정하는 경우, 위험 예측 모델링에서 SMOTE나 샘플링 방법의 사용이 정당한가?

주요 결과

• 모든 불균형 보정 기법—언더샘플링, 오버샘플링, SMOTE—은 악화된 보정을 초래하였으며, 소수의 클래스에 속할 확률을 강하게 과도 추정하였다.
• 분류 능력 향상은 관찰되지 않았으며, AUC-ROC가 보정 후 그대로 유지되거나 약간 감소하였다.
• 불균형 보정으로 민감도와 특이도가 향상되었지만, 동일하거나 더 나은 성능은 데이터 조작 없이 단순히 확률 임계값을 조정함으로써 달성되었다.
• 난소암 진단에 대한 사례 연구는 시뮬레이션 결과를 확인하였으며, 불균형 보정이 과신된 예측과 보정이 잘 되지 않은 결과를 초래함을 보여주었다.
• 릿지 로지스틱 회귀는 불균형 보정의 부정적인 보정 효과를 완화하지 못하였으며, 이는 정규화만으로는 문제를 해결할 수 없음을 시사한다.
• 이 연구는 클래스 불균형 자체가 문제라는 것을 결론 내리며, 불균형 보정이 위험 예측 맥락에서 모델 성능을 악화시킬 수 있음을 시사한다.