[논문 리뷰] Limitations of ROC on Imbalanced Data: Evaluation of LVAD Mortality Risk Scores

Faezeh Movahedi, Rema Padman외 1명|arXiv (Cornell University)|2020. 10. 29.

Imbalanced Data Classification Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 90일 내 LVAD 사망률 예측과 같이 환자 8%만 사망하는 불균형한 의료 데이터에서 ROC 곡선이 분류기 성능을 과도하게 낙관적으로 보여줄 수 있음을 입증한다. 이는 사망과 같은 少수 클래스에 대한 성능 평가에 더 적합하고 보완적인 정밀도-재현율 곡선(PRC)을 제안하며, HMRS 및 랜덤 포레스트 분류기의 PRC에서 ROC에 비해 유의미하게 낮은 AUC를 보이며 실제 임상에서의 예측 능력이 떨어짐을 시사한다.

ABSTRACT

Objective: This study illustrates the ambiguity of ROC in evaluating two classifiers of 90-day LVAD mortality. This paper also introduces the precision recall curve (PRC) as a supplemental metric that is more representative of LVAD classifiers performance in predicting the minority class. Background: In the LVAD domain, the receiver operating characteristic (ROC) is a commonly applied metric of performance of classifiers. However, ROC can provide a distorted view of classifiers ability to predict short-term mortality due to the overwhelmingly greater proportion of patients who survive, i.e. imbalanced data. Methods: This study compared the ROC and PRC for the outcome of two classifiers for 90-day LVAD mortality for 800 patients (test group) recorded in INTERMACS who received a continuous-flow LVAD between 2006 and 2016 (mean age of 59 years; 146 females vs. 654 males) in which mortality rate is only %8 at 90-day (imbalanced data). The two classifiers were HeartMate Risk Score (HMRS) and a Random Forest (RF). Results: The ROC indicates fairly good performance of RF and HRMS classifiers with Area Under Curves (AUC) of 0.77 vs. 0.63, respectively. This is in contrast with their PRC with AUC of 0.43 vs. 0.16 for RF and HRMS, respectively. The PRC for HRMS showed the precision rapidly dropped to only 10% with slightly increasing sensitivity. Conclusion: The ROC can portray an overly-optimistic performance of a classifier or risk score when applied to imbalanced data. The PRC provides better insight about the performance of a classifier by focusing on the minority class.

연구 동기 및 목표

• 불균형한 의료 데이터, 특히 LVAD 사망률 예측에서 ROC의 평가 한계를 부각시키는 것.
• 사망과 같은 소수 클래스가 희귀할 경우 ROC가 분류기 성능을 속임성 있게 낙관적으로 평가할 수 있음을 입증하는 것.
• 불균형 데이터셋에서 소수 클래스 예측에 더 적절하고 정보적인 평가 지표로 정밀도-재현율 곡선(PRC)을 도입하는 것.
• HMRS 및 랜덤 포레스트(RF) 분류기의 성능을 ROC와 PRC를 모두 사용하여 비교함으로써 성능 평가의 괴리를 드러내는 것.
• 특히 희귀 발생 결과에서 임상 위험 모델 평가에 PRC를 표준 보조 지표로 도입할 것을 주장하는 것.

제안 방법

• INTERMACS 레지스트리에서 800명의 LVAD 환자로 구성된 테스트 세트에서 90일 사망률을 결과로 하여 두 분류기(HMRS 및 랜덤 포레스트)를 평가하였다.
• 불균형한 데이터에서 생존율 92%, 사망율 8% 조건에서 두 분류기의 ROC AUC와 PRC AUC를 계산하여 성능을 비교하였다.
• 성능 평가를 위해 예측 확률를 하드 레이블로 변환하기 위해 표준 임계값 기반 분류 방법을 사용하였다.
• INTERMACS의 11,967명 환자에서 70/30 훈련-테스트 분할을 실시하여, 235개의 전-LVAD 임상 변수를 사용해 랜덤 포레스트 모델을 훈련시켰다.
• 특히 소수 클래스(DEAD)에 초점을 맞춰 정밀도와 재현율을 분석함으로써 PRC가 불균형에 얼마나 민감한지 강조하였다.
• ROC(양 클래스에 균형 있게 초점을 맞춤)와 PRC(소수 클래스에 집중)의 해석을 대비하여, 왜 PRC가 실제 임상적 유용성을 더 잘 반영하는지 설명하였다.

실험 결과

연구 질문

• RQ1 불균형 데이터에서 LVAD 사망률 위험 분류기 평가 시 ROC와 PRC의 성능는 어떻게 비교되는가?
• RQ2 90일 내 LVAD 사망률과 같이 결과 클래스가 극도로 불균형한 경우 ROC는 분류기의 예측 성능를 얼마나 과대평가하는가?
• RQ3 정밀도-재현율 곡선(PRC)은 LVAD 사망률과 같이 희귀한 악성 결과를 예측하는 데 더 정확하고 임상적으로 의미 있는 평가를 제공할 수 있는가?
• RQ4 왜 기존의 AUC-ROC와 같은 지표는 희귀 발생 결과에서 위험 점수의 진정한 임상적 유용성을 반영하지 못하는가?
• RQ5 LVAD 이전 위험 평가에서 임상적 의사결정에 ROC와 PRC를 사용할 경우 어떤 영향을 미치는가?

주요 결과

• 랜덤 포레스트 분류기의 ROC AUC는 0.77로 중간에서 양호한 성능을 보였지만, PRC AUC는 단지 0.43으로 소수 클래스에서 열악한 성능을 보였다.
• HMRS의 ROC AUC는 0.63으로 보통 수준의 성능을 보였지만, PRC AUC는 단지 0.16으로 90일 내 사망률에 대한 매우 약한 예측 능력을 드러냈다.
• PRC는 HMRS의 정밀도가 민감도가 낮은 수준에서도 10%로 급격히 감소함을 보이며, 높은 위양성 비율과 진짜 사망자를 식별하는 데의 낮은 신뢰성을 시사했다.
• ROC와 PRC 결과 간의 괴리는 불균형 데이터 환경에서 ROC가 분류기 성능에 대해 위험하게 오해의 소지가 있는 낙관적인 시각을 제공할 수 있음을 보여준다.
• 본 연구는 PRC가 사망률과 같이 희귀한 결과가 있는 임상 환경에서 분류기 평가에 더 정보적이고 현실적인 지표임을 결론 내렸다.
• 이러한 발견은 널리 사용되는 위험 점수인 HMRS가 ROC에 의존함으로써 성능이 과대평가되었을 수 있으며, 보다 나은 임상 의사결정 지원을 위해 PRC를 활용해 재평가되어야 한다고 시사한다.