[论文解读] Automatic Diagnosis of Pulmonary Embolism Using an Attention-guided Framework: A Large-scale Study

Luyao Shi, Deepta Rajan+4 more|arXiv (Cornell University)|May 29, 2020

Venous Thromboembolism Diagnosis and Management参考文献 14被引用 10

一句话总结

本文提出了一种注意力引导的两阶段深度学习框架，用于在对比增强胸部CT扫描中自动检测肺栓塞（PE）。首先，利用像素级标注和注意力损失，对2D ResNet进行训练以实现病灶定位；随后，通过循环网络整合3D空间上下文信息，实现患者级别的诊断，在包含2,160例研究的大规模测试集上，AUC达到0.812。

ABSTRACT

Pulmonary Embolism (PE) is a life-threatening disorder associated with high mortality and morbidity. Prompt diagnosis and immediate initiation of therapeutic action is important. We explored a deep learning model to detect PE on volumetric contrast-enhanced chest CT scans using a 2-stage training strategy. First, a residual convolutional neural network (ResNet) was trained using annotated 2D images. In addition to the classification loss, an attention loss was added during training to help the network focus attention on PE. Next, a recurrent network was used to scan sequentially through the features provided by the pre-trained ResNet to detect PE. This combination allows the network to be trained using both a limited and sparse set of pixel-level annotated images and a large number of easily obtainable patient-level image-label pairs. We used 1,670 sparsely annotated studies and more than 10,000 labeled studies in our training. On a test set with 2,160 patient studies, the proposed method achieved an area under the ROC curve (AUC) of 0.812. The proposed framework is also able to provide localized attention maps that indicate possible PE lesions, which could potentially help radiologists accelerate the diagnostic process.

研究动机与目标

• 通过结合稀疏标注数据与大量患者级标签数据，解决医学影像中像素级标注有限的挑战。
• 通过在训练过程中引入注意力监督，聚焦于实际PE病灶，提升模型可解释性与诊断准确性。
• 开发一种可扩展、可迁移的PE检测框架，充分利用图像级标签与有限的像素级标注。
• 使放射科医生能够通过局部注意力图加速诊断，突出潜在PE病灶。
• 在包含2,160例患者研究的大型复杂测试集上，超越现有方法，包括3D CNN和先前的PE检测模型。

提出的方法

• 在稀疏标注的2D CT切片上训练2D残差卷积神经网络（ResNet18），采用双损失函数：分类损失与注意力损失，以引导特征学习聚焦于病灶区域。
• 应用基于反向传播的注意力图，可视化对分类决策贡献最大的图像区域，增强模型可解释性。
• 使用循环神经网络（RNN）处理预训练2D分类器生成的序列特征，建模3D体素CT扫描中2D切片间的空间关系。
• 将1,670例具有像素级标注的小样本集与超过10,000例仅具患者级标签（阳性/阴性）的数据集联合训练。
• 在RNN训练过程中固定2D分类网络的权重，以稳定特征学习并降低计算成本。
• 将所有CT扫描重采样至2.5 mm切片厚度，以减少内存占用与训练时间，尽管这可能影响对亚段栓塞的检测。

实验结果

研究问题

• RQ1 在深度学习训练过程中，注意力监督是否能改善2D CT切片中肺栓塞病灶的定位？
• RQ2 结合稀疏像素级标注与大量患者级标签是否能提升PE检测的诊断性能？
• RQ3 两阶段框架（先进行2D分类与注意力学习，再通过RNN建模3D上下文）是否能在大规模PE检测任务中超越端到端3D CNN？
• RQ4 模型生成的注意力图在多大程度上与放射科医生可见的PE病灶相一致？
• RQ5 当应用于具有潜在分布偏移的多样化多中心数据时，该框架的泛化能力如何？

主要发现

• 所提出的框架在2,160例患者研究的测试集上，AUC达到0.812，优于先前的最先进方法，包括PENet与3D CNN。
• 模型生成的注意力图在视觉示例中准确地定位了PE病灶，显示出对放射科医生工作流程支持的潜在价值。
• 该模型在相同测试集上的表现优于3D CNN，表明两阶段注意力引导方法相较于端到端3D学习具有优势。
• 在2D网络训练中使用注意力损失，使特征学习更具判别性，聚焦于实际病灶，减少了对解剖背景结构的注意力偏差。
• 尽管仅使用1,670例像素级标注的研究，该框架仍表现出色，证明了对大规模患者级标签数据的有效利用。
• 由于能够仅使用二元标签进行训练，该方法非常适合迁移学习与在新临床环境中的部署。