[论文解读] COVID-19-CT-CXR: a freely accessible and weakly labeled chest X-ray and CT image collection on COVID-19 from biomedical literature

Yifan Peng, Yuxing Tang+4 more|arXiv (Cornell University)|Jun 11, 2020

COVID-19 diagnosis using AI参考文献 52被引用 15

一句话总结

本论文介绍了COVID-19-CT-CXR，这是一个公开可用的数据库，包含1,327张胸部CT和263张胸部X光片图像，以及从PubMed Central开放获取文章中通过自然语言处理和深度学习自动提取的文本描述。该数据集提升了AI模型在区分COVID-19与非COVID-19影像方面的性能，并可通过文本挖掘的症状和放射学特征，实现对COVID-19与流感临床表现的对比分析。

ABSTRACT

The latest threat to global health is the COVID-19 outbreak. Although there exist large datasets of chest X-rays (CXR) and computed tomography (CT) scans, few COVID-19 image collections are currently available due to patient privacy. At the same time, there is a rapid growth of COVID-19-relevant articles in the biomedical literature. Here, we present COVID-19-CT-CXR, a public database of COVID-19 CXR and CT images, which are automatically extracted from COVID-19-relevant articles from the PubMed Central Open Access (PMC-OA) Subset. We extracted figures, associated captions, and relevant figure descriptions in the article and separated compound figures into subfigures. We also designed a deep-learning model to distinguish them from other figure types and to classify them accordingly. The final database includes 1,327 CT and 263 CXR images (as of May 9, 2020) with their relevant text. To demonstrate the utility of COVID-19-CT-CXR, we conducted four case studies. (1) We show that COVID-19-CT-CXR, when used as additional training data, is able to contribute to improved DL performance for the classification of COVID-19 and non-COVID-19 CT. (2) We collected CT images of influenza and trained a DL baseline to distinguish a diagnosis of COVID-19, influenza, or normal or other types of diseases on CT. (3) We trained an unsupervised one-class classifier from non-COVID-19 CXR and performed anomaly detection to detect COVID-19 CXR. (4) From text-mined captions and figure descriptions, we compared clinical symptoms and clinical findings of COVID-19 vs. those of influenza to demonstrate the disease differences in the scientific publications. We believe that our work is complementary to existing resources and hope that it will contribute to medical image analysis of the COVID-19 pandemic. The dataset, code, and DL models are publicly available at https://github.com/ncbi-nlp/COVID-19-CT-CXR.

研究动机与目标

• 为解决由于隐私和数据访问限制导致的公开可获取、标注的COVID-19医学影像数据稀缺问题。
• 开发一种自动化流程，从PubMed Central开放获取子集中的全文生物医学文献中提取并分类胸部X光片和CT图像。
• 创建一个富含细粒度文本描述的数据集，这些描述源自图注和图题，以支持多模态AI研究。
• 展示该数据集在提升深度学习模型对COVID-19分类和异常检测性能方面的实用性。
• 利用科学文献中挖掘的文本数据，实现对COVID-19与流感之间临床症状和放射学发现的对比分析。

提出的方法

• 使用文档解析和版面分析，从PubMed Central开放获取（PMC-OA）文章中自动提取图像、图注及相关图像描述。
• 使用在ImageCLEF Medical数据集上微调的深度学习模型，将复合图像分割为单个子图像。
• 使用在医学图像类型上训练的深度学习模型，将提取的子图像分类为模态类别（CT、CXR或其他）。
• 应用仅在非COVID-19 CXR上训练的一类异常检测模型，以检测潜在的COVID-19病例。
• 对图注和图像描述进行文本挖掘，提取并比较COVID-19与流感的临床症状和放射学发现。
• 通过GitHub公开数据集、代码和训练好的模型，以支持可复现性及进一步研究。

实验结果

研究问题

• RQ1 能否通过从科学文献中自动提取的弱标签医学图像，提升深度学习模型在区分非COVID-19胸部CT扫描与COVID-19方面的性能？
• RQ2 当仅使用提取数据集中的非COVID-19病例进行训练时，一类学习方法在CXR中检测COVID-19的效率如何？
• RQ3 在生物医学文献中反映的临床症状和放射学发现方面，COVID-19与流感之间存在哪些关键差异？
• RQ4 从图注和图题中挖掘的文本描述，在支持COVID-19放射学模式的验证与发现方面，其作用有多大？
• RQ5 如何扩展和改进从全文文章中自动提取图像和文本的方法，以支持未来的医学影像研究？

主要发现

• 将COVID-19-CT-CXR作为额外训练数据纳入后，显著提升了深度学习模型在区分COVID-19与非COVID-19胸部CT扫描方面的性能。
• 在非COVID-19 CXR上训练的一类异常检测模型，其性能与基于监督学习的CT模型相当，表明该方法在CXR中实现COVID-19零样本检测具有潜力。
• 文本挖掘分析显示，磨玻璃影（GGO）在COVID-19中比在流感中更常被报告，而“浸润”则在流感中更常见，反映出放射学术语和疾病表现的差异。
• 发热和咳嗽是COVID-19中最常报告的症状，与CDC及其他研究的临床报告一致。
• 该数据集使研究者能够识别出15种常见症状和20种临床发现，其中GGO是COVID-19的主导特征，而实变和肺炎在两种疾病中均有出现。
• 尽管子图像分割和文本提取范围存在局限，该数据集在AI开发和放射学研究方面展现出强大的互补潜力。