[論文レビュー] The harm of class imbalance corrections for risk prediction models: illustration and simulation using logistic regression

Ruben van den Goorbergh, Maarten van Smeden+2 more|arXiv (Cornell University)|Feb 18, 2022

Medical Coding and Health Information被引用数 9

ひとこと要約

本研究は、リスク予測におけるロジスティック回帰およびリッジ・ロジスティック回帰モデルに対するクラス不均衡補正手法（ランダムアンダーサンプリング、オーバーサンプリング、SMOTE）の影響を調査している。これらの補正は感度と特異度を向上させるが、結果としてマイノリティークラスの確率を過大評価するため、必ずや予測のキャリブレーションを悪化させることを示している。この問題は、確率のしきい値を調整することでより信頼性高く回避可能である。

ABSTRACT

Methods to correct class imbalance, i.e. imbalance between the frequency of outcome events and non-events, are receiving increasing interest for developing prediction models. We examined the effect of imbalance correction on the performance of standard and penalized (ridge) logistic regression models in terms of discrimination, calibration, and classification. We examined random undersampling, random oversampling and SMOTE using Monte Carlo simulations and a case study on ovarian cancer diagnosis. The results indicated that all imbalance correction methods led to poor calibration (strong overestimation of the probability to belong to the minority class), but not to better discrimination in terms of the area under the receiver operating characteristic curve. Imbalance correction improved classification in terms of sensitivity and specificity, but similar results were obtained by shifting the probability threshold instead. Our study shows that outcome imbalance is not a problem in itself, and that imbalance correction may even worsen model performance.

研究の動機と目的

• ロジスティック回帰におけるクラス不均衡補正技術のリスク予測モデルパフォーマンスへの影響を評価すること。
• SMOTE、アンダーサンプリング、オーバーサンプリングなどの手法が、区別能（discrimination）、キャリブレーション、分類指標をどのように改善するかを評価すること。
• 実臨床予測モデリングにおいて、不均衡補正の利点がリスクを上回るかを検証すること。
• 不均衡補正モデルと単純なしきい値シフトの性能を比較し、感度と特異度を最適化する方法を検討すること。
• 低発症率の結果設定における不均衡補正の意図しない結果を、実証的およびシミュレーションベースの証拠で提示すること。

提案手法

• クラス不均衡度と発症率を変化させた合成データセットを用いたモンテカルロ・シミュレーションを実施した。
• 標準的およびリッジ・ロジスティック回帰モデルを、元のデータセットおよび不均衡補正済みデータセットに適用した。
• 3つの不均衡補正手法を用いた：ランダムアンダーサンプリング、ランダムオーバーサンプリング、SMOTE（合成マイノリティ過剰サンプリング技術）。
• 区別能（AUC-ROC）、キャリブレーション（キャリブレーションプロットおよびキャリブレーションスロープ）、分類指標（感度、特異度、F1スコア）を用いてモデルパフォーマンスを評価した。
• 臨床的文脈でのシミュレーション結果の妥当性を検証するため、実際の卵巣がん診断データを用いたケーススタディを実施した。
• 補正手法間でのモデル出力の比較を行い、しきい値シフトが分類パフォーマンスに与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡の補正は、AUC-ROCで測定されるロジスティック回帰モデルの区別能を向上させるか？
• RQ2 異なる不均衡補正手法は、リスク予測モデルのキャリブレーションにどのように影響するか？
• RQ3 データ操作なしに確率のしきい値をシフトすることで、同じ分類パフォーマンス（例：感度と特異度）の向上が達成可能か？
• RQ4 低発症率の結果設定において、不均衡補正はマイノリティークラスの確率推定にどのような影響を及ぼすか？
• RQ5 マイノリティークラスのリスクが過大評価される場合、リスク予測モデリングにおいてSMOTEやサンプリング手法の使用は正当化されるか？

主な発見

• アンダーサンプリング、オーバーサンプリング、SMOTEのすべての不均衡補正手法が、マイノリティークラスに属する確率の強い過大評価を引き起こし、顕著なキャリブレーションの悪化をもたらした。
• 区別能に改善は認められず、補正後もAUC（受診者操作特性曲線下の面積）は変化しないか、わずかに低下した。
• 不均衡補正により感度と特異度が向上したが、データ操作なしに確率のしきい値をシフトするだけで、同等またはより優れたパフォーマンスが達成可能であった。
• 卵巣がん診断に関するケーススタディは、シミュレーション結果を確認し、不均衡補正が過信かつキャリブレーションの悪い予測をもたらしたことを示した。
• リッジ・ロジスティック回帰は、不均衡補正による負のキャリブレーション効果を緩和しなかったため、正則化のみでは問題を解決できないことが示された。
• 本研究は、クラス不均衡自体が問題であるとは限らず、リスク予測の文脈では不均衡補正がモデルパフォーマンスを悪化させる可能性があると結論づけた。