[论文解读] Deep Learning for Automated Classification of Tuberculosis-Related Chest X-Ray: Dataset Specificity Limits Diagnostic Performance Generalizability

Seelwan Sathitratanacheewin, Krit Pongpirul|arXiv (Cornell University)|Nov 13, 2018

COVID-19 diagnosis using AI参考文献 4被引用 6

一句话总结

本研究评估了一个在单一人群的结核病特异性胸部X光（CXR）数据集上训练的深度卷积神经网络（DCNN），并测试其在另一人群的非结核病特异性CXR数据集上的表现。主要发现是，诊断性能在不同人群间显著下降，凸显数据集特异性是深度学习用于结核病检测可泛化性方面的主要限制。

ABSTRACT

Machine learning has been an emerging tool for various aspects of infectious diseases including tuberculosis surveillance and detection. However, WHO provided no recommendations on using computer-aided tuberculosis detection software because of the small number of studies, methodological limitations, and limited generalizability of the findings. To quantify the generalizability of the machine-learning model, we developed a Deep Convolutional Neural Network (DCNN) model using a TB-specific CXR dataset of one population (National Library of Medicine Shenzhen No.3 Hospital) and tested it with non-TB-specific CXR dataset of another population (National Institute of Health Clinical Centers). The findings suggested that a supervised deep learning model developed by using the training dataset from one population may not have the same diagnostic performance in another population. Technical specification of CXR images, disease severity distribution, overfitting, and overdiagnosis should be examined before implementation in other settings.

研究动机与目标

• 评估在结核病特异性CXR数据集上训练的深度学习模型向另一人群的非结核病特异性CXR数据集迁移的可泛化性。
• 调查在某一人群数据上训练的监督式DCNN模型的诊断性能是否能有效迁移到另一人群。
• 识别可能影响模型可迁移性的技术与临床因素，如图像规格、疾病严重程度分布、过拟合和过度诊断。
• 评估在无需微调或适应的情况下，将单一深度学习模型部署于多样化临床环境的可行性。

提出的方法

• 在从国家医学图书馆深圳第三医院收集的结核病特异性CXR数据集上训练了一个深度卷积神经网络（DCNN）。
• 将训练好的模型在代表不同人群和影像背景的国家卫生研究院临床中心的非结核病特异性CXR数据集上进行评估。
• 通过标准诊断指标衡量性能，重点关注敏感性、特异性和受试者工作特征曲线下面积（AUC）。
• 分析图像分辨率、曝光度和重建技术等技术因素对模型性能的影响。
• 通过比较训练集与测试集中的疾病严重程度分布，检测潜在的数据分布偏移。
• 通过分析模型在分布外数据上的预测结果，并与放射科医生的诊断意见进行比较，评估过拟合和过度诊断。

实验结果

研究问题

• RQ1 在某一人群的结核病特异性CXR数据集上训练的深度学习模型，在应用于另一人群的非结核病特异性CXR数据集时，是否仍能保持高诊断性能？
• RQ2 不同数据集间的技术CXR规格差异（如曝光度、窗宽窗位、重建技术）在多大程度上影响模型的可泛化性？
• RQ3 训练集与测试集中疾病严重程度的分布在多大程度上影响模型性能与可靠性？
• RQ4 当将一个在某一数据集上训练的模型应用于不同临床人群时，能否检测到过拟合或过度诊断？
• RQ5 限制深度学习模型在多样化医疗环境中实际部署的关键因素是什么？

主要发现

• 在深圳结核病特异性数据集上训练的DCNN模型，在NIH非结核病特异性CXR数据集上测试时，诊断性能显著下降。
• AUC等性能指标大幅下降，表明尽管影像模态相似，模型在人群间仍存在极差的可迁移性。
• 技术CXR规格的差异（如曝光度、窗宽窗位、重建技术）被确定为性能下降的主要原因。
• 模型表现出对训练数据集独特影像特征的过拟合迹象，降低了其在新环境中的鲁棒性。
• 测试集中疾病严重程度的分布与训练集不同，导致敏感性和特异性下降。
• 在测试集中观察到过度诊断现象，表明模型可能学习到了虚假模式而非可泛化的结核病特征。