[论文解读] Divided We Stand: A Novel Residual Group Attention Mechanism for Medical Image Segmentation

Chaitanya Kaul, Nick Pears+1 more|arXiv (Cornell University)|Dec 4, 2019

AI in cancer detection参考文献 22被引用 5

一句话总结

本文提出FocusNetAlpha，一种新颖的残差模块，整合了残差学习、分组卷积以及一种新型注意力机制，用于医学图像分割。通过将这些组件与混合损失函数结合，该模型在ISIC 2018、细胞核和DRIVE数据集上实现了最先进性能，相较于基础残差模块IoU提升5.6%，相较于ResNeXt分组卷积模块IoU提升1.3%，同时参数量和FLOPs更少。

ABSTRACT

Given that convolutional neural networks extract features via learning convolution kernels, it makes sense to design better kernels which can in turn lead to better feature extraction. In this paper, we propose a new residual block for convolutional neural networks in the context of medical image segmentation. We combine attention mechanisms with group convolutions to create our group attention mechanism, which forms the fundamental building block of FocusNetAlpha - our convolutional autoencoder. We adapt a hybrid loss based on balanced cross entropy, tversky loss and the adaptive logarithmic loss to create a loss function that converges faster and more accurately to the minimum solution. On comparison with the different residual block variants, we observed a 5.6% increase in the IoU on the ISIC 2017 dataset over the basic residual block and a 1.3% increase over the resneXt group convolution block. Our results show that FocusNetAlpha achieves state-of-the-art results across all metrics for the ISIC 2018 melanoma segmentation, cell nuclei segmentation and the DRIVE retinal blood vessel segmentation datasets with fewer parameters and FLOPs. Our code and pre-trained models will be publicly available on GitHub to maximize reproducibility.

研究动机与目标

• 通过设计更有效的卷积核来提升医学图像分割中的特征提取能力。
• 解决标准残差模块和分组卷积架构在捕捉复杂解剖结构方面的局限性。
• 通过将新型注意力机制与分组卷积相结合，提升分割精度。
• 通过结合平衡交叉熵、Tversky损失和自适应对数损失的混合损失函数，加速收敛并提高优化稳定性。
• 在参数量和FLOPs方面实现更低的模型复杂度，同时达到最先进性能。

提出的方法

• 提出一种新型残差模块，整合残差学习、分组卷积与新型注意力机制。
• 引入一种分组注意力机制，可学习在通道和空间位置上聚焦于相关特征组。
• 采用混合损失函数，结合平衡交叉熵、Tversky损失和自适应对数损失，以改善训练动态。
• 设计FocusNetAlpha为基于所提残差模块的U-Net式自编码器架构。
• 利用通道维和空间维注意力，根据特征图与分割任务的相关性动态重加权。
• 优化损失函数，使其对类别不平衡更具鲁棒性，并能更快收敛至最优解。

实验结果

研究问题

• RQ1 结合分组卷积与注意力机制的新型残差模块是否能提升医学图像分割的精度？
• RQ2 所提出的分组注意力机制在特征表示与分割性能方面，相较于标准残差块和ResNeXt模块表现如何？
• RQ3 混合损失函数在医学图像分割中在多大程度上能加速收敛并提升优化稳定性？
• RQ4 与现有模型相比，所提出的架构是否能在更少参数量和FLOPs下实现最先进性能？
• RQ5 在分组卷积中集成注意力机制是否能提升在多样化医学影像任务中的泛化能力？

主要发现

• FocusNetAlpha在ISIC 2017数据集上相较于基础残差模块，IoU提升5.6%。
• 在ISIC 2017数据集上，模型相较于ResNeXt分组卷积模块IoU提升1.3%。
• FocusNetAlpha在ISIC 2018黑色素瘤分割、细胞核分割和DRIVE视网膜血管分割数据集的所有指标上均达到最先进性能。
• 与基线架构相比，该模型以更少的参数量和更低的FLOPs实现了更优性能。
• 混合损失函数在训练过程中实现了更快且更精确的收敛。
• 所提方法在多样化医学影像任务中表现出强大的泛化能力，包括皮肤病变、细胞核和视网膜血管分割。