[论文解读] CAA : Channelized Axial Attention for Semantic Segmentation.

Ye Huang, Wenjing Jia+4 more|arXiv (Cornell University)|Jan 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用 6

一句话总结

本文提出通道化轴向注意力（Channelized Axial Attention, CAA），一种新颖的注意力机制，通过将转置点积注意力图通道化，以优化感受野内通道重要性，从而无缝整合通道注意力与轴向注意力，实现语义分割。CAA 在降低计算复杂度的同时，在 Cityscapes、PASCAL Context 和 COCO-Stuff 上优于 SOTA 模型（如 ResNet-101），且资源消耗显著更低。

ABSTRACT

Self-attention and channel attention, modelling thesemantic interdependencies in spatial and channel dimensionsrespectively, have recently been widely used for semantic seg-mentation. However, computing spatial-attention and channelattention separately and then fusing them directly can causeconflicting feature representations. In this paper, we proposethe Channelized Axial Attention (CAA) to seamlessly integratechannel attention and axial attention with reduced computationalcomplexity. After computing axial attention maps, we propose tochannelize the intermediate results obtained from the transposeddot-product so that the channel importance of each axial repre-sentation is optimized across the whole receptive field. We furtherdevelop grouped vectorization, which allows our model to be runwith very little memory consumption at a speed comparableto the full vectorization. Comparative experiments conductedon multiple benchmark datasets, including Cityscapes, PASCALContext and COCO-Stuff, demonstrate that our CAA not onlyrequires much less computation resources compared with otherdual attention models such as DANet, but also outperformsthe state-of-the-art ResNet-101-based segmentation models on alltested datasets.

研究动机与目标

• 解决现有双注意力机制中，空间注意力与通道注意力分别计算并直接融合所导致的特征表示冲突问题。
• 在不牺牲性能的前提下，降低双注意力机制在语义分割中的计算复杂度。
• 通过分组向量化实现高效推理，最大限度减少内存占用，同时保持与全向量化相当的速度。
• 通过通道化中间轴向注意力表示，优化感受野内通道重要性。

提出的方法

• 对一个轴向应用轴向注意力，以提取沿该轴的空间依赖性，随后使用转置点积注意力生成中间特征图。
• 通过优化整个感受野内通道重要性，对中间注意力图进行通道化，以改善特征表示。
• 引入分组向量化，以在推理过程中减少内存占用，同时保持与全向量化相当的速度。
• 通过通道化实现通道注意力与轴向注意力的无缝融合，避免直接融合可能引发的表示冲突。
• 引入可学习机制，基于轴向注意力提供的全局上下文信息，对通道注意力权重进行精细化调整。

实验结果

研究问题

• RQ1 轴向注意力与通道注意力能否通过更优方式融合，而非分别计算并直接融合？
• RQ2 对轴向注意力图进行通道化是否能提升特征表示质量并降低计算成本？
• RQ3 分组向量化能否实现在最小内存占用下的高效推理，同时保持性能？
• RQ4 所提出的 CAA 机制是否在准确率与效率两方面均优于现有双注意力模型？

主要发现

• CAA 在 Cityscapes、PASCAL Context 和 COCO-Stuff 基准测试中达到 SOTA 性能，超越基于 ResNet-101 的模型。
• CAA 所需计算资源显著少于双注意力模型（如 DANet），展现出更高的效率。
• 分组向量化使推理过程内存占用极低，同时速度与全向量化相当。
• 轴向注意力图的通道化使感受野内特征表示更加一致且优化。