[论文解读] Computer Aided Detection for Pulmonary Embolism Challenge (CAD-PE)

Germán González, Daniel Jiménez‐Carretero+18 more|arXiv (Cornell University)|Mar 30, 2020

Venous Thromboembolism Diagnosis and Management被引用 8

一句话总结

本文介绍了CAD-PE挑战赛，这是一个包含91例经放射科医生标注的肺动脉CTA扫描的公开数据库，旨在推动肺栓塞的计算机辅助检测技术发展。基于该基准数据集的深度学习方法中，最佳算法在每幅扫描2个假阳性条件下实现了75%的单栓塞敏感性，超越了以往最先进水平，表明全局分割网络在性能上优于专门的候选结节检测方法。

ABSTRACT

Rationale: Computer aided detection (CAD) algorithms for Pulmonary Embolism (PE) algorithms have been shown to increase radiologists' sensitivity with a small increase in specificity. However, CAD for PE has not been adopted into clinical practice, likely because of the high number of false positives current CAD software produces. Objective: To generate a database of annotated computed tomography pulmonary angiographies, use it to compare the sensitivity and false positive rate of current algorithms and to develop new methods that improve such metrics. Methods: 91 Computed tomography pulmonary angiography scans were annotated by at least one radiologist by segmenting all pulmonary emboli visible on the study. 20 annotated CTPAs were open to the public in the form of a medical image analysis challenge. 20 more were kept for evaluation purposes. 51 were made available post-challenge. 8 submissions, 6 of them novel, were evaluated on the 20 evaluation CTPAs. Performance was measured as per embolus sensitivity vs. false positives per scan curve. Results: The best algorithms achieved a per-embolus sensitivity of 75% at 2 false positives per scan (fps) or of 70% at 1 fps, outperforming the state of the art. Deep learning approaches outperformed traditional machine learning ones, and their performance improved with the number of training cases. Significance: Through this work and challenge we have improved the state-of-the art of computer aided detection algorithms for pulmonary embolism. An open database and an evaluation benchmark for such algorithms have been generated, easing the development of further improvements. Implications on clinical practice will need further research.

研究动机与目标

• 开发一个公开的、高质量的肺动脉CTA扫描数据库，其中包含放射科医生标注的肺栓塞病灶，用于算法基准测试。
• 使用标准化指标评估并比较现有CAD-PE算法的性能。
• 通过识别在提升敏感性同时降低假阳性率方面的有效方法，推动CAD-PE领域的创新。
• 为未来肺栓塞检测研究建立可重复的评估框架。
• 通过数据驱动的算法开发，解决当前CAD系统中假阳性率过高的临床障碍。

提出的方法

• 使用多阅片者共识与裁定方法对91例肺动脉CTA扫描进行肺栓塞标注。
• 将20例扫描作为公开挑战赛数据集，用于算法开发与评估。
• 在独立的20例测试集上评估8项提交结果（包括6种新方法），以单栓塞敏感性与每幅扫描的假阳性数为主要评价指标。
• 采用深度学习模型（如基于U-Net的全局分割）与传统机器学习方法（如SVM、AdaBoost）进行对比。
• 采用平面图像重构建与2D/2.5D输入策略，探究输入表示方式对性能的影响。
• 在挑战赛后新增51例标注病例，以支持未来算法的训练与验证。

实验结果

研究问题

• RQ1 一个公开可用的、高质量的肺动脉CTA数据集，若包含专家标注的栓塞病灶，是否能提升CAD-PE算法的性能？
• RQ2 在肺动脉CTA上检测肺栓塞时，基于深度学习的方法是否优于传统机器学习方法？
• RQ3 CAD-PE算法的性能如何随训练病例数量及输入表示形式（如2D、2.5D或重构建图像）而变化？
• RQ4 与基于候选结节的检测流程相比，全局分割网络是否能更有效地减少假阴性？
• RQ5 算法性能指标在多大程度上依赖于数据集构成，例如栓塞分布与扫描特征？

主要发现

• 表现最佳的算法在每幅扫描2个假阳性条件下实现了75%的单栓塞敏感性，性能优于以往最先进方法。
• 深度学习方法在低假阳性率（低于2 fps）条件下显著优于传统机器学习方法。
• 基于U-Net的全局分割模型（UA-2D）优于一种专门设计的、以候选结节为中心的深度学习方法，表明候选结节选择过程可能引入假阴性。
• 在完整20例挑战赛训练集上训练的算法性能显著优于在较小子集上训练的算法，表明其对数据量存在依赖性。
• 在本新基准测试中，先前报告的算法性能出现显著差异，凸显了性能对数据集的依赖性。
• 公开数据库与评估框架有望加速未来CAD-PE系统的研究进展与临床转化。