[论文解读] Robust Tumor Localization with Pyramid Grad-CAM

Sungmin Lee, Jangho Lee+3 more|arXiv (Cornell University)|May 29, 2018

Advanced Neural Network Applications参考文献 14被引用 30

一句话总结

本文提出金字塔梯度类激活映射（PG-CAM），一种利用密集连接特征金字塔网络（DC-FPN）生成多尺度类别激活图的弱监督肿瘤定位方法。通过聚合来自多个特征金字塔层级的梯度类激活图，PG-CAM 在脑膜瘤MRI数据上的定位准确率比标准Grad-CAM高出23%，实现了无需像素级标注的鲁棒且精细的肿瘤边界检测。

ABSTRACT

A meningioma is a type of brain tumor that requires tumor volume size follow ups in order to reach appropriate clinical decisions. A fully automated tool for meningioma detection is necessary for reliable and consistent tumor surveillance. There have been various studies concerning automated lesion detection. Studies on the application of convolutional neural network (CNN)-based methods, which have achieved a state-of-the-art level of performance in various computer vision tasks, have been carried out. However, the applicable diseases are limited, owing to a lack of strongly annotated data being present in medical image analysis. In order to resolve the above issue we propose pyramid gradient-based class activation mapping (PG-CAM) which is a novel method for tumor localization that can be trained in weakly supervised manner. PG-CAM uses a densely connected encoder-decoder-based feature pyramid network (DC-FPN) as a backbone structure, and extracts a multi-scale Grad-CAM that captures hierarchical features of a tumor. We tested our model using meningioma brain magnetic resonance (MR) data collected from the collaborating hospital. In our experiments, PG-CAM outperformed Grad-CAM by delivering a 23 percent higher localization accuracy for the validation set.

研究动机与目标

• 为解决医学影像中强标注数据有限的问题，实现弱监督肿瘤定位。
• 通过利用卷积神经网络深层的分层多尺度特征，提升肿瘤定位准确率。
• 开发一种无需边界框或像素级标注即可捕捉细粒度肿瘤边界的定位方法。
• 构建一个适用于低资源医学影像场景的鲁棒端到端可训练定位框架。

提出的方法

• 该方法采用密集连接的编码器-解码器特征金字塔网络（DC-FPN）作为主干网络，以保留并传递跨层级的多尺度特征。
• 在多个金字塔层级的特征图上应用基于梯度的类别激活映射（Grad-CAM），生成具有尺度特异性的CAM。
• 将多尺度CAM通过逐元素平均进行上采样与融合，生成最终的PG-CAM，其分辨率与输入图像一致。
• 密集跳跃连接有效防止特征退化，并确保深层网络中低层细节得以保留。
• 模型仅使用图像级别标签进行端到端训练，支持弱监督学习。
• 最终的PG-CAM通过识别与病灶相对应的高激活区域，用于肿瘤定位。

实验结果

研究问题

• RQ1 来自分层CNN架构的多尺度特征图是否能在弱监督设置下提升肿瘤定位准确率？
• RQ2 将不同特征金字塔层级的基于梯度的CAM进行融合，对定位精度和边界细节有何影响？
• RQ3 与标准残差网络相比，密集连接的特征金字塔网络在特征保留与定位鲁棒性方面提升了多少？
• RQ4 PG-CAM是否能在不依赖强标注的情况下，实现优于标准Grad-CAM的性能？

主要发现

• 在脑膜瘤MRI验证集上，PG-CAM相比标准Grad-CAM实现了23个百分点的定位准确率提升。
• 来自不同金字塔层级（特别是Scale 1和Scale 4）的多尺度CAM有助于更准确地刻画肿瘤形状与边界。
• PG-CAM生成了全分辨率激活图（224×224），保留了单尺度Grad-CAM中丢失的精细细节。
• DC-FPN中的密集连接机制有效保留了低层特征，即使在网络更深的情况下也提升了定位鲁棒性。
• 可视化结果显示，不同尺度的特征图捕捉到不同的激活模式：细尺度图聚焦于肿瘤区域，而粗尺度图则突出结构上下文信息。
• 该方法在保持高分类准确率的同时显著提升了定位性能，证明其在弱监督医学图像分析中的有效性。