[論文レビュー] Limitations of ROC on Imbalanced Data: Evaluation of LVAD Mortality Risk Scores

Faezeh Movahedi, Rema Padman+1 more|arXiv (Cornell University)|Oct 29, 2020

Imbalanced Data Classification Techniques参考文献 22被引用数 4

ひとこと要約

この論文は、90日間のLVAD死亡率予測（死亡率8%）のような不均衡な医療データにおいて、ROC曲線が分類器の性能を誤って楽観的に評価する可能性があることを示している。本研究では、少数クラス（死亡）の性能をよりよく評価できるPrecision-Recall Curve（PRC）を優れた補足指標として提案し、HMRSおよびランダムフォレスト分類器のPRCにおけるAUCがROCに比べて顕著に低く、実世界での死亡率予測能力が著しく劣っていることを明らかにした。

ABSTRACT

Objective: This study illustrates the ambiguity of ROC in evaluating two classifiers of 90-day LVAD mortality. This paper also introduces the precision recall curve (PRC) as a supplemental metric that is more representative of LVAD classifiers performance in predicting the minority class. Background: In the LVAD domain, the receiver operating characteristic (ROC) is a commonly applied metric of performance of classifiers. However, ROC can provide a distorted view of classifiers ability to predict short-term mortality due to the overwhelmingly greater proportion of patients who survive, i.e. imbalanced data. Methods: This study compared the ROC and PRC for the outcome of two classifiers for 90-day LVAD mortality for 800 patients (test group) recorded in INTERMACS who received a continuous-flow LVAD between 2006 and 2016 (mean age of 59 years; 146 females vs. 654 males) in which mortality rate is only %8 at 90-day (imbalanced data). The two classifiers were HeartMate Risk Score (HMRS) and a Random Forest (RF). Results: The ROC indicates fairly good performance of RF and HRMS classifiers with Area Under Curves (AUC) of 0.77 vs. 0.63, respectively. This is in contrast with their PRC with AUC of 0.43 vs. 0.16 for RF and HRMS, respectively. The PRC for HRMS showed the precision rapidly dropped to only 10% with slightly increasing sensitivity. Conclusion: The ROC can portray an overly-optimistic performance of a classifier or risk score when applied to imbalanced data. The PRC provides better insight about the performance of a classifier by focusing on the minority class.

研究の動機と目的

• 不均衡な医療データ、特にLVAD死亡率予測において、ROCの限界を強調すること。
• 死亡という少数クラスがまれな状況では、ROCが分類器の性能を誤って楽観的に評価する可能性があることを示すこと。
• 不均衡データセットにおける少数クラス予測に適した、より適切で情報量の多い評価指標としてPrecision-Recall Curve（PRC）を導入すること。
• HMRSとランダムフォレスト（RF）の2つのLVAD死亡率分類器の性能を、ROCとPRCの両方で比較し、評価のずれを明らかにすること。
• 特に発生頻度が低い結果に対して、PRCを臨床的リスクモデル評価の標準的補足指標として採用するよう提言すること。

提案手法

• INTERMACSレジストリの800例のLVAD患者を対象に、90日間の死亡を結果として、2つの分類器（HMRSとランダムフォレスト）の性能を評価した。
• 92%の生存率と8%の死亡率という不均衡なデータにおける性能を比較するため、両分類器のROC AUCとPRC AUCを算出した。
• 性能評価のため、予測確率をハードラベルに変換する標準的なしきい値ベースの分類アプローチを採用した。
• INTERMACSに登録された11,967例の患者を70/30の訓練・テスト分割し、235個の術前臨床変数を用いてランダムフォレストモデルを学習した。
• 特に少数クラス（DEAD）に注目し、精度と再現率の観点から分類器の性能を分析することで、PRCの不均衡への感受性を強調した。
• 両クラスに均等に注目するROCの解釈と、少数クラスに焦点を当てるPRCの解釈を対比することで、なぜPRCが臨床的実用性をよりよく反映しているかを説明した。

実験結果

リサーチクエスチョン

• RQ1 不均衡なデータにおけるLVAD死亡リスク分類器の評価において、ROCとPRCの性能はどのように比較されるか？
• RQ2 90日間のLVAD後死亡率のような結果クラスが著しく不均衡な状況では、ROCが分類器の予測性能をどの程度過大評価するか？
• RQ3 Precision-Recall Curveは、LVAD死亡率のような稀な有害事象の予測において、より正確で臨床的に意味のある分類器性能の評価を可能にするか？
• RQ4 なぜ、AUC-ROCのような従来の指標は、発生頻度が低い結果におけるリスクスコアの真の臨床的有用性を反映できないのか？
• RQ5 PRCとROCを用いることで、術前LVADリスク評価における臨床的意思決定にどのような影響が生じるか？

主な発見

• ランダムフォレスト分類器のROC AUCは0.77であり、中程度から良好な性能を示しているが、PRC AUCはわずか0.43にとどまり、少数クラスにおける性能が著しく低いことが示された。
• HMRSのROC AUCは0.63で、やや良好な性能を示しているが、PRC AUCはたった0.16にとどまり、90日間の死亡率予測能力が極めて弱いことが明らかになった。
• PRCは、HMRSの精度が感度がわずかに上昇する程度でも急速に10%まで低下することを示し、偽陽性率が高く、真の死亡者を特定する信頼性が低いことを示した。
• ROCとPRCの結果の乖離は、不均衡データ環境下ではROCが分類器性能を危険にさえなる楽観的な誤解をもたらす可能性があることを示している。
• 本研究は、PRCが、例えば術後LVAD死亡率のような稀な結果を伴う臨床現場で、より情報量が多く現実的である指標であると結論づけた。
• 広く使用されているリスクスコア（例：HMRS）がROC依存によって性能が過大評価されている可能性があり、より良い臨床的意思決定支援のため、PRCを用いた再評価が求められる。