[論文レビュー] Generalizability of Machine Learning Models: Quantitative Evaluation of Three Methodological Pitfalls

Farhad Maleki, Katie Ovens+4 more|arXiv (Cornell University)|Feb 1, 2022

AI in cancer detection被引用数 7

ひとこと要約

本論文は、医療分野における機械学習モデルの汎化性能を損なう3つの重要なメソッドロジカルな落とし穴を特定し、定量的に評価している：不適切なデータ分割によるデータ漏洩（例：スプリットの前段階でのオーバーサンプリングや特徴量選択）、同じ被験者からのデータがスプリットにランダムに分散することによる被験者レベルのデータ漏洩、および不適切な性能指標やベースラインの使用。研究では、これらの誤りがF1スコアを最大71.2%まで上昇させ、新しいデータに対して崩壊的な失敗を引き起こす可能性があることを示しており、モデル開発と評価におけるメソッドロジカルな厳密性の必要性が強く強調されている。

ABSTRACT

Purpose: Despite the potential of machine learning models, the lack of generalizability has hindered their widespread adoption in clinical practice. We investigate three methodological pitfalls: (1) violation of independence assumption, (2) model evaluation with an inappropriate performance indicator or baseline for comparison, and (3) batch effect. Materials and Methods: Using several retrospective datasets, we implement machine learning models with and without the pitfalls to quantitatively illustrate these pitfalls' effect on model generalizability. Results: Violation of independence assumption, more specifically, applying oversampling, feature selection, and data augmentation before splitting data into train, validation, and test sets, respectively, led to misleading and superficial gains in F1 scores of 71.2% in predicting local recurrence and 5.0% in predicting 3-year overall survival in head and neck cancer as well as 46.0% in distinguishing histopathological patterns in lung cancer. Further, randomly distributing data points for a subject across training, validation, and test sets led to a 21.8% superficial increase in F1 score. Also, we showed the importance of the choice of performance measures and baseline for comparison. In the presence of batch effect, a model built for pneumonia detection led to F1 score of 98.7%. However, when the same model was applied to a new dataset of normal patients, it only correctly classified 3.86% of the samples. Conclusions: These methodological pitfalls cannot be captured using internal model evaluation, and the inaccurate predictions made by such models may lead to wrong conclusions and interpretations. Therefore, understanding and avoiding these pitfalls is necessary for developing generalizable models.

研究の動機と目的

• 臨床現場における機械学習モデルの汎化性能を損なう一般的なメソッドロジカルな誤りがどのように作用するかを調査すること。
• トレーニング／バリデーション／テストのスプリットの前段階でオーバーサンプリング、特徴量選択、データ増強を実施することによる、不適切なデータ分割に起因するデータ漏洩の影響を定量化すること。
• 同じ被験者のデータポイントがトレーニング、バリデーション、テストセットにランダムに分散されることによる被験者レベルのデータ漏洩の影響を評価すること。
• 性能指標の選択とベースライン比較の影響が、モデル評価結果にどのように作用するかを評価すること。
• 肺炎検出を事例として、バッチ効果がモデル性能に与える現実世界の影響を示すこと。

提案手法

• 著者らは、頭頸部がん、肺がん、および肺炎画像の後向き臨床データセットを用いて、機械学習モデルのトレーニングと評価を実施した。
• 3つのメソッドロジカルな落とし穴を含むモデルと含まないモデルをそれぞれ実装し、それらがモデル性能に与える影響を分離して定量化した。
• データ漏洩の評価では、トレーニング／バリデーション／テストにスプリットする前段階でオーバーサンプリング、特徴量選択、データ増強を実施した。
• 被験者レベルの漏洩の評価では、同じ患者からのデータポイントを異なるセットにランダムに分散させ、独立性の仮定を破った。
• F1スコアなどの標準的な指標を用いてモデルを評価し、適切なベースラインとの比較を通じて指標選択の影響を評価した。
• バッチ効果の影響を評価するために、あるデータセットでトレーニングした肺炎検出モデルを、新たな独立した正常被験者データセットに適用し、モデルの頑健性をテストした。

実験結果

リサーチクエスチョン

• RQ1 スプリットの前段階でオーバーサンプリングや特徴量選択といったデータ前処理を実施すると、モデルの性能指標がどの程度上昇するか？
• RQ2 同じ被験者のデータポイントがトレーニング、バリデーション、テストセットにランダムに分散されると、モデルの汎化性能とF1スコアにどのような影響が生じるか？
• RQ3 性能指標の選択とベースライン比較の方法が、機械学習モデルの効果性の認識にどのように影響を与えるか？
• RQ4 新しい独立したデータセットに適用した際、バッチ効果がモデルの汎化性能をどの程度損なうか？
• RQ5 内部モデル評価のみでは、これらのメソッドロジカルな落とし穴を検出できるか？

主な発見

• スプリットの前段階でオーバーサンプリング、特徴量選択、データ増強を実施した結果、頭頸部がんの局所再発予測においてF1スコアが71.2%の表面的上昇を示した。
• 同じ被験者のデータポイントがスプリットにランダムに分散されたことで、F1スコアが21.8%の人工的上昇を示し、顕著なデータ漏洩が確認された。
• 肺がんの組織像パターン分類において、データ漏洩によりF1スコアが46.0%上昇し、モデル性能が著しく過大評価されていることが示された。
• バッチ効果の影響下では、肺炎検出モデルはトレーニングデータセットでは98.7%のF1スコアを達成したが、新たな正常被験者データセットではわずか3.86%の正確度にとどまり、分布外データに対して崩壊的な失敗を示した。
• これらの落とし穴は、内部モデル評価のみでは検出できないことが確認された。性能は良好に見えるが、実際の汎化性能は劣悪である。
• 結果として、不適切な性能指標やベースラインの選択は、特に不均衡またはバイアスがかかるデータセットにおいて、研究者がモデルが有効であると誤って信じ込むのを助長することがある。