[论文解读] Attention Gated Networks: Learning to Leverage Salient Regions in Medical Images

Jo Schlemper, Ozan Oktay+5 more|arXiv (Cornell University)|Aug 22, 2018

AI in cancer detection参考文献 9被引用 11

一句话总结

本文提出注意力门控网络（AGNs），一种新颖的软注意力机制，使卷积神经网络能够自动聚焦于医学图像中的显著区域，而无需依赖外部定位模块。通过将注意力门控集成到U-Net和VGG等标准架构中，AGNs在保持计算效率的同时，提升了分类与分割的准确性——尤其在低对比度或结构多变的场景下表现更优，并支持可解释的、基于注意力的定位。

ABSTRACT

We propose a novel attention gate (AG) model for medical image analysis that automatically learns to focus on target structures of varying shapes and sizes. Models trained with AGs implicitly learn to suppress irrelevant regions in an input image while highlighting salient features useful for a specific task. This enables us to eliminate the necessity of using explicit external tissue/organ localisation modules when using convolutional neural networks (CNNs). AGs can be easily integrated into standard CNN models such as VGG or U-Net architectures with minimal computational overhead while increasing the model sensitivity and prediction accuracy. The proposed AG models are evaluated on a variety of tasks, including medical image classification and segmentation. For classification, we demonstrate the use case of AGs in scan plane detection for fetal ultrasound screening. We show that the proposed attention mechanism can provide efficient object localisation while improving the overall prediction performance by reducing false positives. For segmentation, the proposed architecture is evaluated on two large 3D CT abdominal datasets with manual annotations for multiple organs. Experimental results show that AG models consistently improve the prediction performance of the base architectures across different datasets and training sizes while preserving computational efficiency. Moreover, AGs guide the model activations to be focused around salient regions, which provides better insights into how model predictions are made. The source code for the proposed AG models is publicly available.

研究动机与目标

• 通过使CNN隐式学习聚焦于相关结构，消除医学图像分析中对外部器官/定位模块的需求。
• 通过注意力机制抑制无关特征，提升分类与分割任务的模型敏感性与准确性。
• 提供一种轻量化、模块化的注意力机制，可轻松集成至U-Net和VGG等现有CNN架构中。
• 在胎儿超声和低对比度CT等具有挑战性的成像场景中，实现实时、可解释的对象定位。
• 在不同数据集和训练规模下，均实现一致的性能提升，且不增加模型复杂度。

提出的方法

• 提出一种基于网格的软注意力机制，按局部区域计算注意力系数，实现空间特定的特征加权。
• 采用可学习的门控机制，通过融合U-Net类架构中编码器与解码器路径的特征，计算注意力图。
• 对注意力图应用归一化策略（如Sigmoid或Softmax），以控制激活的稀疏性，并增强对灰度变化的鲁棒性。
• 采用多尺度聚合策略，在每个尺度上设置独立的损失项，以稳定训练并提升注意力学习效果。
• 使用标准反向传播进行端到端训练，注意力门控与主网络参数联合优化。
• 在注意力门控模块中采用残差连接策略，以改善梯度流动并提升训练稳定性。

实验结果

研究问题

• RQ1 能否有效将注意力门控机制集成到标准CNN中，以在无需外部定位模块的情况下提升医学图像分类与分割性能？
• RQ2 在胎儿超声等低对比度或噪声较大的成像场景中，注意力门控机制如何提升模型敏感性并减少假阳性？
• RQ3 在3D CT成像中，注意力门控在小尺寸或高度可变的器官（如胰腺）上能提升多大程度的性能？
• RQ4 激活函数的选择（如Sigmoid与Softmax）如何影响注意力图质量与模型性能？
• RQ5 注意力机制能否生成可解释的、细粒度的注意力图，使其与临床相关结构对齐？

主要发现

• 注意力门控网络（AGNs）在两个大型3D腹部CT数据集——TCIA Pancreas-82与多类别腹部CT-150上，无论训练集大小如何，均持续提升分割性能。
• Attention U-Net变体在TCIA Pancreas-82数据集上实现了最先进性能，且无需级联或多阶段模型。
• 在胎儿超声切面检测任务中，AG-Sononet通过实现精确、注意力驱动的靶平面定位，显著提升了分类精度，且参数量极少。
• 注意力机制生成的注意力图与真实标注高度一致，证明了其可靠的物体定位能力。
• 在低对比度超声图像中，Sigmoid激活函数在注意力门控中产生的注意力图比Softmax更鲁棒，主要得益于更好的梯度流动与对灰度波动更低的敏感性。
• 采用尺度特定损失项与两阶段微调策略，显著提升了训练稳定性与注意力图质量。