[论文解读] DeepEM: Deep 3D ConvNets With EM For Weakly Supervised Pulmonary Nodule Detection

Wentao Zhu, Yeeleng S. Vang+2 more|arXiv (Cornell University)|May 14, 2018

Lung Cancer Diagnosis and Treatment参考文献 21被引用 10

一句话总结

本文提出 DeepEM，一种弱监督的三维卷积神经网络框架，利用电子病历（EMRs）提升 CT 扫描中的肺结节检测性能。通过将结节候选区域建模为隐变量，并使用期望最大化（EM）算法从不完整的 EMR 标签中推断其后验概率，DeepEM 在 LUNA16 上相比 Faster R-CNN 实现了 1.5% 的平均 FROC 提升，在 Tianchi 上实现了 3.9% 的提升，证明了弱标签数据在医学影像中的价值。

ABSTRACT

Recently deep learning has been witnessing widespread adoption in various medical image applications. However, training complex deep neural nets requires large-scale datasets labeled with ground truth, which are often unavailable in many medical image domains. For instance, to train a deep neural net to detect pulmonary nodules in lung computed tomography (CT) images, current practice is to manually label nodule locations and sizes in many CT images to construct a sufficiently large training dataset, which is costly and difficult to scale. On the other hand, electronic medical records (EMR) contain plenty of partial information on the content of each medical image. In this work, we explore how to tap this vast, but currently unexplored data source to improve pulmonary nodule detection. We propose DeepEM, a novel deep 3D ConvNet framework augmented with expectation-maximization (EM), to mine weakly supervised labels in EMRs for pulmonary nodule detection. Experimental results show that DeepEM can lead to 1.5\% and 3.9\% average improvement in free-response receiver operating characteristic (FROC) scores on LUNA16 and Tianchi datasets, respectively, demonstrating the utility of incomplete information in EMRs for improving deep learning algorithms.\footnote{https://github.com/uci-cbcl/DeepEM-for-Weakly-Supervised-Detection.git}

研究动机与目标

• 解决在肺结节检测中，训练深度学习模型时标注医学影像数据有限的挑战。
• 利用电子病历（EMRs）中丰富的弱标签数据，这些数据包含部分诊断信息但无精确的结节标注。
• 开发一种仅使用 EMR 衍生的弱标签来提升检测性能的方法，减少对昂贵专家标注数据集的依赖。
• 通过隐变量建模与 EM 优化，实现端到端训练三维卷积网络，以利用不完整的临床数据。
• 证明基于 EMRs 的弱监督学习可显著提升标准基准上的检测性能。

提出的方法

• 将结节候选区域建模为隐变量，并使用 EM 优化联合推断其后验概率并更新网络参数。
• 使用半高斯模型表示结节中心切片的空间分布，其参数从 EMR 数据中学习。
• 应用逻辑回归模型，利用来自 EMRs 的弱标签，对特定肺叶中结节存在的可能性进行建模。
• 在 E 步中，通过最大后验估计（MAP）或蒙特卡洛采样计算候选区域的后验概率。
• 在 M 步中，利用推断出的候选区域概率更新 Faster R-CNN 和逻辑回归的参数。
• 使用联合似然目标函数，结合图像特征与来自 EMRs 的弱监督信号，端到端训练整个框架。

实验结果

研究问题

• RQ1 能否有效利用来自电子病历（EMRs）的弱标签数据，以提升三维 CT 扫描中的肺结节检测性能？
• RQ2 与完全监督基线相比，将结节候选区域建模为隐变量并使用 EM 优化，如何提升检测性能？
• RQ3 在 EM 框架中，MAP 推断与基于采样的推断在结节候选区域估计中的相对影响是什么？
• RQ4 在无需额外专家标注的情况下，来自 EMRs 的弱监督在保持测试集上的泛化能力方面能提升多少？
• RQ5 所提出的 DeepEM 框架能否推广至其他标注数据有限的医学影像任务？

主要发现

• 在使用弱监督 EMR 数据时，采用基于采样的推断策略的 DeepEM 在 LUNA16 数据集上相比 Faster R-CNN 将平均 FROC 得分提升了 1.5%。
• 在 Tianchi 的保留测试集上，采用采样策略的 DeepEM 相比 Faster R-CNN 基线实现了 3.9% 的平均 FROC 提升。
• DeepEM 的 MAP 推断变体在 LUNA16 上使 FROC 提升了 1.3%，表明弱监督带来了稳定增益。
• 可视化对比显示，与 Faster R-CNN 相比，DeepEM 的结节中心定位更准确，直径估计更紧凑。
• 基于采样的推断策略优于 MAP，可能是因为其在优化过程中能更好地逃离局部极小值。
• 结果验证了：尽管不完整，但经过恰当建模的 EMR 衍生弱标签可显著增强医学影像中的深度学习模型。