[论文解读] Local Adaptation Improves Accuracy of Deep Learning Model for Automated X-Ray Thoracic Disease Detection : A Thai Study

Isarun Chamveha, Trongtum Tongdee+2 more|arXiv (Cornell University)|Apr 23, 2020

COVID-19 diagnosis using AI参考文献 19被引用 7

一句话总结

本研究基于421,859张泰国本地胸部X光片，开发并验证了一种本地化适配的深度学习模型，用于自动检测胸腔疾病，平均AUROC达到0.914。该模型在筛查场景中可将放射科医生的工作量减少高达55.6%，表明本地数据整合显著提升了模型的准确性与实际应用价值，优于全球预训练模型。

ABSTRACT

Despite much promising research in the area of artificial intelligence for medical image diagnosis, there has been no large-scale validation study done in Thailand to confirm the accuracy and utility of such algorithms when applied to local datasets. Here we present a wide-reaching development and testing of a deep learning algorithm for automated thoracic disease detection, utilizing 421,859 local chest radiographs. Our study shows that convolutional neural networks can achieve remarkable performance in detecting 13 common abnormality conditions on chest X-ray, and the incorporation of local images into the training set is key to the model's success. This paper presents a state-of-the-art model for CXR abnormality detection, reaching an average AUROC of 0.91. This model, if integrated to the workflow, can result in up to 55.6% work reduction for medical practitioners in the CXR analysis process. Our work emphasizes the importance of investing in local research of medical diagnosis algorithms to ensure safe and efficient usage within the intended region.

研究动机与目标

• 在大规模、此前未见过的泰国胸部X光片数据集上，验证一种用于胸腔疾病检测的深度学习模型。
• 评估人工智能在泰国真实放射科工作流程中的泛化能力与临床实用性。
• 比较全球预训练模型与使用泰国特定数据训练的本地适配模型之间的性能差异。
• 量化在胸部X光片筛查流程中整合人工智能后，放射科医生的时间节省（工作量减少）情况。
• 强调本地数据在提升区域医疗系统中模型准确性与临床安全方面的重要性。

提出的方法

• 在包含110万张全球胸部X光片和421,859张来自诗丽拉吉医院的泰国特定后前位胸部X光片的联合数据集上训练卷积神经网络（CNN）。
• 采用两阶段训练方法：先在多样化国际数据集上进行预训练，随后使用本地泰国影像进行微调，以实现本地适应。
• 通过AUROC、特异性及在高敏感性工作点（敏感性固定为0.95）下的敏感性来评估模型性能。
• 根据疾病患病率计算工作量减少率，模拟不同异常病例比例下的真实世界筛查场景。
• 将本地适配模型与仅在全局数据上预训练的参考模型进行对比，以隔离本地数据的影响。
• 应用AUROC和特异性等指标，评估13种胸腔异常的诊断性能。

实验结果

研究问题

• RQ1 在训练数据中整合本地泰国胸部X光片是否能显著提升深度学习模型在胸腔疾病检测中的性能？
• RQ2 当在泰国临床数据上测试时，全球预训练模型与本地适配模型的性能相比如何？
• RQ3 人工智能模型在常规胸部X光片筛查中可将放射科医生的工作量减少多少？这种减少程度如何随疾病患病率变化？
• RQ4 该模型是否能在真实泰国人群中对多种胸腔病理情况保持高敏感性，同时实现高特异性？
• RQ5 本地适配对临床工作流程效率与诊断可靠性的实际影响是什么？

主要发现

• 本地适配模型在13种胸腔异常上的平均AUROC达到0.914，显著优于参考模型。
• 本地数据整合使平均预测准确率提升8.3个百分点，各类疾病下的特异性从0.559提升至0.643。
• 在高敏感性设置下，模型最大工作量减少率达到55.6%，为放射科医生带来显著的时间节省。
• 在平均疾病比例14.2%的情况下，本地适配模型实现46.0%的工作量减少率，而参考模型为38.3%。
• 该模型在未见数据集上表现出良好的泛化能力，同时保持高敏感性（0.95），并减少了假阴性。
• 特定疾病如胸腔积液和心脏扩大在本地适配后特异性提升最高（例如+0.070），表明检测可靠性得到增强。