[论文解读] Generalizability of Machine Learning Models: Quantitative Evaluation of Three Methodological Pitfalls

Farhad Maleki, Katie Ovens+4 more|arXiv (Cornell University)|Feb 1, 2022

AI in cancer detection被引用 7

一句话总结

本文识别并定量评估了在医疗领域中损害机器学习模型泛化能力的三个关键方法论陷阱：由于数据分割不当（如在分割前进行过采样和特征选择）导致的数据泄露、通过将同一患者的数据随机分配到不同数据集而引发的患者层面数据泄露，以及不恰当的性能度量或基线比较。研究显示，这些错误可使F1分数虚增高达71.2%，并导致模型在新数据上出现灾难性失败，凸显了在模型开发与评估中亟需提升方法论严谨性。

ABSTRACT

Purpose: Despite the potential of machine learning models, the lack of generalizability has hindered their widespread adoption in clinical practice. We investigate three methodological pitfalls: (1) violation of independence assumption, (2) model evaluation with an inappropriate performance indicator or baseline for comparison, and (3) batch effect. Materials and Methods: Using several retrospective datasets, we implement machine learning models with and without the pitfalls to quantitatively illustrate these pitfalls' effect on model generalizability. Results: Violation of independence assumption, more specifically, applying oversampling, feature selection, and data augmentation before splitting data into train, validation, and test sets, respectively, led to misleading and superficial gains in F1 scores of 71.2% in predicting local recurrence and 5.0% in predicting 3-year overall survival in head and neck cancer as well as 46.0% in distinguishing histopathological patterns in lung cancer. Further, randomly distributing data points for a subject across training, validation, and test sets led to a 21.8% superficial increase in F1 score. Also, we showed the importance of the choice of performance measures and baseline for comparison. In the presence of batch effect, a model built for pneumonia detection led to F1 score of 98.7%. However, when the same model was applied to a new dataset of normal patients, it only correctly classified 3.86% of the samples. Conclusions: These methodological pitfalls cannot be captured using internal model evaluation, and the inaccurate predictions made by such models may lead to wrong conclusions and interpretations. Therefore, understanding and avoiding these pitfalls is necessary for developing generalizable models.

研究动机与目标

• 调查常见方法论错误如何损害临床环境中机器学习模型的泛化能力。
• 量化由于分割前不当处理（如过采样、特征选择和数据增强）导致的数据泄露对F1分数的影响。
• 评估将同一患者的数据点随机分布在训练集、验证集和测试集中的患者层面数据泄露对模型泛化能力的影响。
• 评估性能度量选择和基线比较对模型评估结果的影响。
• 通过肺炎检测作为案例研究，展示批次效应对模型性能的实际后果。

提出的方法

• 作者使用头颈部癌、肺癌和肺炎影像的回顾性临床数据集来训练和评估机器学习模型。
• 通过在存在和不存在三种方法论陷阱的情况下训练模型，以隔离并量化其对模型性能的影响。
• 针对数据泄露问题，他们在将数据划分为训练集、验证集和测试集之前，应用过采样、特征选择和数据增强。
• 针对患者层面的泄露，他们将同一患者的多个数据点随机分配到不同数据集，违反了独立性假设。
• 使用标准指标（如F1分数）评估模型，并与适当的基线进行比较，以评估度量选择的影响。
• 通过将一个在某一数据集上训练的肺炎检测模型应用于新的独立正常患者数据集，测试其鲁棒性，以评估批次效应的影响。

实验结果

研究问题

• RQ1 在数据分割前应用过采样和特征选择等数据预处理技术，会在多大程度上虚增模型性能指标？
• RQ2 将同一患者的多个数据点随机分布在训练集、验证集和测试集中，会对模型泛化能力和F1分数产生何种影响？
• RQ3 性能度量选择和基线比较方式如何影响对机器学习模型有效性的评估？
• RQ4 当模型应用于新的独立数据集时，批次效应在多大程度上会损害其泛化能力？
• RQ5 仅通过内部模型评估能否检测到这些方法论陷阱的存在？

主要发现

• 在分割前应用过采样、特征选择和数据增强，导致头颈部癌局部复发预测的F1分数虚增71.2%。
• 将同一患者的多个数据点随机分布在不同数据集中，造成F1分数人为提升21.8%，表明存在显著的数据泄露。
• 在肺癌组织病理学模式分类任务中，数据泄露导致F1分数虚增46.0%，表明模型性能被严重高估。
• 在存在批次效应的情况下，肺炎检测模型在其训练数据集上F1分数达98.7%，但在新的正常患者数据集上准确率仅3.86%，显示出在分布外数据上的灾难性失败。
• 研究证实，仅通过内部模型评估无法检测到这些陷阱，因为尽管泛化能力差，模型性能仍表现良好。
• 结果强调，不恰当的性能度量和基线选择可能误导研究人员，使其误以为模型有效，尤其是在不平衡或有偏见的数据集中。