[论文解读] 3D Context Enhanced Region-based Convolutional Neural Network for End-to-End Lesion Detection

Ke Yan, Mohammadhadi Bagheri+1 more|arXiv (Cornell University)|Jun 25, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 11被引用 6

一句话总结

本文提出3D上下文增强的区域基础卷积神经网络（3DCE），一种内存高效、端到端的深度学习框架，通过聚合多个相邻CT切片的特征图，将3D上下文信息融入2D区域基础CNN中。通过利用预训练的2D主干网络和2D边界框标注，3DCE在DeepLesion数据集上将每幅图像4个假阳性时的病灶检测敏感度提升了4.05%（从80.32%提升至84.37%），优于3D CNN和两阶段FPR方法。

ABSTRACT

Detecting lesions from computed tomography (CT) scans is an important but difficult problem because non-lesions and true lesions can appear similar. 3D context is known to be helpful in this differentiation task. However, existing end-to-end detection frameworks of convolutional neural networks (CNNs) are mostly designed for 2D images. In this paper, we propose 3D context enhanced region-based CNN (3DCE) to incorporate 3D context information efficiently by aggregating feature maps of 2D images. 3DCE is easy to train and end-to-end in training and inference. A universal lesion detector is developed to detect all kinds of lesions in one algorithm using the DeepLesion dataset. Experimental results on this challenging task prove the effectiveness of 3DCE. We have released the code of 3DCE in https://github.com/rsummers11/CADLab/tree/master/lesion_detector_3DCE.

研究动机与目标

• 为解决在CT扫描中区分真实病灶与非病灶的挑战，其中3D上下文至关重要，但现有基于2D的端到端检测器中未被充分利用。
• 开发一种内存高效、端到端的深度学习框架，无需使用3D CNN或3D边界框标注即可整合3D上下文信息。
• 通过在大规模DeepLesion数据集上进行单一统一模型的端到端训练，实现在多种病灶类型上的通用病灶检测。
• 利用预训练的2D CNN权重（如VGG-16）进行迁移学习，避免从零开始训练3D CNN。

提出的方法

• 3DCE将M个相邻的CT切片组合为M个三通道图像，以保持与2D CNN的输入兼容性。
• 对每个切片应用2D区域基础全卷积网络（R-FCN），生成特征图，随后在切片间进行空间聚合以编码3D上下文信息。
• 将相邻切片的特征图拼接，并通过共享的、改进的R-FCN头进行处理，该头包含额外的全连接层和ReLU层，用于分类与回归。
• 采用修改后的VGG-16主干网络，减少pool4和pool5层，以保留小病灶的空间分辨率。
• 仅使用2D边界框标注即可实现端到端训练与推理，无需3D标注或两阶段FPR流程。
• 该方法具备可扩展性和高效性，推理时间与输入切片数量呈线性关系，并受益于体素数据上的特征图缓存。

实验结果

研究问题

• RQ1 能否在不使用3D卷积层或3D标注的情况下，有效将3D上下文信息融入2D区域基础CNN？
• RQ2 与数据级融合或3D CNN相比，多张2D切片在特征图层面的融合是否能提升病灶检测的敏感度？
• RQ3 仅使用2D边界框标注和预训练的2D模型，能否在多种病灶类型上训练出高性能的通用病灶检测器？
• RQ4 在敏感度、训练效率和内存使用方面，3DCE与两阶段FPR方法及3D CNN相比表现如何？

主要发现

• 在DeepLesion测试集上，3DCE将每幅图像4个假阳性时的病灶检测敏感度从80.32%提升至84.37%，且在各类病灶中均表现出一致的性能增益。
• 使用9张输入切片时，该方法在4个假阳性/图像下达到84.34%的敏感度；使用27张切片时，4个假阳性下敏感度达85.65%，表明其在上下文深度上具备良好的可扩展性。
• 3DCE优于从零开始训练的3D CNN（4个假阳性时敏感度为79.7%），得益于预训练的2D权重和分块3D特征聚合机制。
• 改进的R-FCN主干网络在增加全连接层后，准确率较原始R-FCN提升0.7%，同时保持相近的推理速度。
• 3DCE在性能上优于数据级融合（11张切片时敏感度为83.02%）和快速RCNN（81.62%），证实了特征级融合的优越性。
• 在官方DeepLesion数据划分（4,817张图像）上，3DCE在每幅图像16个假阳性时达到89.62%的敏感度，在4个假阳性时达到84.34%，且在各类病灶类型和直径下均表现出一致的性能提升。