[论文解读] On the Composition and Limitations of Publicly Available COVID-19 X-Ray Imaging Datasets

Beatriz García Santa Cruz, Jan Sölter+2 more|arXiv (Cornell University)|Aug 26, 2020

COVID-19 diagnosis using AI参考文献 39被引用 12

一句话总结

本文对公开可用的COVID-19胸部X光片数据集进行了批判性评估，识别出数据稀缺、人群不平衡、选择偏差和文档记录不良等主要局限性。通过详细分析数据集构成和标注实践，为研究人员选择合适数据集、避免过度自信的基准测试提供指导，最终旨在提升医学人工智能模型的泛化能力和临床适用性。

ABSTRACT

Machine learning based methods for diagnosis and progression prediction of COVID-19 from imaging data have gained significant attention in the last months, in particular by the use of deep learning models. In this context hundreds of models where proposed with the majority of them trained on public datasets. Data scarcity, mismatch between training and target population, group imbalance, and lack of documentation are important sources of bias, hindering the applicability of these models to real-world clinical practice. Considering that datasets are an essential part of model building and evaluation, a deeper understanding of the current landscape is needed. This paper presents an overview of the currently public available COVID-19 chest X-ray datasets. Each dataset is briefly described and potential strength, limitations and interactions between datasets are identified. In particular, some key properties of current datasets that could be potential sources of bias, impairing models trained on them are pointed out. These descriptions are useful for model building on those datasets, to choose the best dataset according the model goal, to take into account the specific limitations to avoid reporting overconfident benchmark results, and to discuss their impact on the generalisation capabilities in a specific clinical setting

研究动机与目标

• 评估当前公开可用的COVID-19胸部X光片数据集的现状，识别其优势与局限性。
• 突出显示主要偏差来源，如选择偏差、混杂因素和标签错位，这些因素会损害临床环境中模型的泛化能力。
• 通过记录数据集整理过程、标注程序和队列特征，提高医学人工智能的透明度和可重复性。
• 根据模型目标指导研究人员选择合适的数据集，减少过拟合和过度自信的基准测试。
• 倡导改进文档标准，并在医学影像研究中遵循TRIPOD和PROBAST等报告指南。

提出的方法

• 系统性回顾与重建数据集来源，包括图像获取方法、标注程序和临床背景。
• 评估数据集文档质量，重点关注标签定义、选择标准和队列特征。
• 通过分析图像-标签一致性与临床元数据，识别混杂变量和选择偏差。
• 基于标签来源（例如，放射科报告与仅图像标注）比较数据集，评估标签泄露和偏差风险。
• 应用PROBAST和TRIPOD等偏差评估框架，评估数据集整理和模型开发中的偏差风险。
• 强调在经过良好整理、具有代表性的数据集上进行外部验证的重要性，以确保实际应用中的适用性。

实验结果

研究问题

• RQ1 公开可用的COVID-19胸部X光片数据集在构成与整理方面存在哪些关键的方法学局限性？
• RQ2 数据集构建过程中的混杂变量和选择偏差在多大程度上影响机器学习模型的泛化能力？
• RQ3 标注程序——尤其是源自放射科报告的标注——在多大程度上会引入偏差或与图像内容不一致？
• RQ4 如何改进数据集文档以支持透明、可重复且具有临床相关性的模型开发？
• RQ5 使用元数据不全或选择标准不明确的数据集对基准测试和实际部署有何影响？

主要发现

• 大多数公开可用的COVID-19胸部X光片数据集存在严重的方法学局限性，包括文档记录不良、选择标准不明确以及标注程序不一致。
• 从放射科报告中获取的标签中，相当大比例无法通过图像的视觉检查予以确认，表明可能存在标签不准确和偏差。
• 当标签源自包含图像本身不包含的临床背景信息的报告时，标签泄露是一个严重问题，导致模型学习到虚假相关性。
• 提供仅图像标注的数据集（如RSNA Kaggle、NIH Google、General Blockchain、7labs）偏差风险较低，更适合用于训练检测细微影像特征的模型。
• 标签和结局标准缺乏明确定义会增加选择偏差风险，并损害模型在不同临床人群中的泛化能力。
• 迫切需要改进数据集文档，包括明确声明数据集的预期用途、标签生成流程和队列特征，以支持可信的模型开发与评估。