[论文解读] Improving Deep Lesion Detection Using 3D Contextual and Spatial Attention

Qingyi Tao, Zongyuan Ge+3 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Neural Network Applications参考文献 8被引用 5

一句话总结

本文提出一种双注意力机制——3D上下文注意力与空间注意力，以提升3D CT扫描中的深层病变检测性能。通过自适应地重加权跨切片的特征重要性，并聚焦于每一切片内的判别性区域，该方法在计算开销极小的情况下显著提升了病变检测性能，在DeepLesion数据集上实现了每幅图像0.5个假阳性时70.8%的敏感度。

ABSTRACT

Lesion detection from computed tomography (CT) scans is challenging compared to natural object detection because of two major reasons: small lesion size and small inter-class variation. Firstly, the lesions usually only occupy a small region in the CT image. The feature of such small region may not be able to provide sufficient information due to its limited spatial feature resolution. Secondly, in CT scans, the lesions are often indistinguishable from the background since the lesion and non-lesion areas may have very similar appearances. To tackle both problems, we need to enrich the feature representation and improve the feature discriminativeness. Therefore, we introduce a dual-attention mechanism to the 3D contextual lesion detection framework, including the cross-slice contextual attention to selectively aggregate the information from different slices through a soft re-sampling process. Moreover, we propose intra-slice spatial attention to focus the feature learning in the most prominent regions. Our method can be easily trained end-to-end without adding heavy overhead on the base detection network. We use DeepLesion dataset and train a universal lesion detector to detect all kinds of lesions such as liver tumors, lung nodules, and so on. The results show that our model can significantly boost the results of the baseline lesion detector (with 3D contextual information) but using much fewer slices.

研究动机与目标

• 解决由于空间分辨率有限和类别间相似性高，导致在3D CT扫描中检测小而低对比度病变的挑战。
• 提升病变特征表示的丰富性与判别性，尤其针对在背景组织中视觉上难以区分的病变。
• 开发一个端到端可训练的框架，在不显著增加计算成本的前提下，增强基线3D病变检测器的性能。
• 通过统一的检测头实现在多种病变类型（如肝肿瘤、肺结节）上的鲁棒检测。

提出的方法

• 引入一个3D上下文注意力模块，通过可学习的卷积层和Softmax归一化，在M个输入切片上计算切片级注意力权重。
• 通过注意力权重实现软重采样机制，选择性地聚合来自相关邻近切片的特征，从而增强3D上下文建模能力。
• 集成一个空间注意力模块，为每个特征图生成可学习的注意力图，以突出每张2D切片内的高判别性区域。
• 将两个注意力模块嵌入改进的基于R-FCN的3D病变检测框架中，特征融合发生在ROI池化之前。
• 在RPN和检测头中联合优化分类损失与回归损失，实现端到端训练。
• 采用分组的3通道图像（关键切片 + M−1个邻近切片）以保留3D空间结构，同时支持2D CNN处理。

实验结果

研究问题

• RQ1 当病变较小且与背景视觉相似时，跨多个CT切片的自适应特征聚合是否能提升病变检测性能？
• RQ2 空间注意力在单个2D切片内病变判别性区域的特征学习中，其提升程度如何？
• RQ3 在不同假阳性率下，上下文注意力与空间注意力模块在性能增益上的表现有何差异？
• RQ4 双注意力机制是否能以极小的计算开销集成到3D病变检测框架中？
• RQ5 注意力机制是否能在DeepLesion数据集中提升多种病变类型检测的敏感度与定位精度？

主要发现

• 所提方法在每幅图像0.5个假阳性时达到70.8%的敏感度，相比仅使用空间注意力的基线模型提升了1.8%。
• 仅使用空间注意力时，敏感度从63%提升至69%（每幅图像0.5个假阳性），表明其对预测置信度具有显著影响。
• 在较高假阳性率下，上下文注意力的贡献更为显著，表明其在噪声条件下有助于精炼检测结果。
• 两种注意力模块的结合实现了最高性能，表明切片间与切片内注意力具有互补优势。
• 可视化结果表明，上下文注意力模块为包含病变特征的切片分配了更高的权重，同时抑制了无关切片。
• 空间注意力模块在特征图中清晰地突出了病变区域，尤其在病变可见的切片中，同时降低了对非病变区域的关注。