[论文解读] Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation

Lechao Cheng, Liu, Zerun+4 more|arXiv (Cornell University)|May 4, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出自适应重激活机制（AReAM），一种新颖方法，用于缓解视觉变换器在弱监督语义分割任务中因无纪律性过平滑导致的性能下降。通过基于熵的加权方式，自适应地利用浅层注意力监督深层特征图的关联矩阵，AReAM 有效降低了背景噪声并提升了目标定位能力，在标准基准上实现了最先进性能。

ABSTRACT

Weakly supervised semantic segmentation (WSSS) has recently attracted considerable attention because it requires fewer annotations than fully supervised approaches, making it especially promising for large-scale image segmentation tasks. Although many vision transformer-based methods leverage self-attention affinity matrices to refine Class Activation Maps (CAMs), they often treat each layer's affinity equally and thus introduce considerable background noise at deeper layers, where attention tends to converge excessively on certain tokens (i.e., over-smoothing). We observe that this deep-level attention naturally converges on a subset of tokens, yet unregulated query-key affinity can generate unpredictable activation patterns (undisciplined over-smoothing), adversely affecting CAM accuracy. To address these limitations, we propose an Adaptive Re-Activation Mechanism (AReAM), which exploits shallow-level affinity to guide deeper-layer convergence in an entropy-aware manner, thereby suppressing background noise and re-activating crucial semantic regions in the CAMs. Experiments on two commonly used datasets demonstrate that AReAM substantially improves segmentation performance compared with existing WSSS methods, reducing noise while sharpening focus on relevant semantic regions. Overall, this work underscores the importance of controlling deep-level attention to mitigate undisciplined over-smoothing, introduces an entropy-aware mechanism that harmonizes shallow and deep-level affinities, and provides a refined approach to enhance transformer-based WSSS accuracy by re-activating CAMs.

研究动机与目标

• 探究深度变换器层在弱监督语义分割任务中性能下降的根本原因。
• 识别连续关联矩阵中的无纪律性过平滑是导致全局关系崩溃和背景噪声的关键因素。
• 开发一种机制，利用浅层全局关系自适应校准深层注意力。
• 通过抑制语义无关激活，提升伪标签质量和分割精度。
• 通过校准的、语义感知的监督，实现多层注意力图的有效聚合。

提出的方法

• AReAM 使用逐层增强的类激活图（CAM）的平均归一化逆熵，为不同层分配自适应权重。
• 在前向传播过程中，熵值较高（更均匀、更嘈杂）的层获得较低权重，从而降低其影响。
• 在反向传播过程中，权重被反转，以强调高熵层，从而在深层获得更强的监督信号。
• 该方法利用浅层关联矩阵监督深层关联矩阵，促进注意力聚焦于语义区域而非背景。
• AReAM 可无缝集成到现有基于变换器的 WSSS 框架中，无需架构修改，支持即插即用部署。
• 最终的分割预测通过聚合所有层的校准后关联矩阵生成。

Figure 1 . Visualization of attention map generation. The proposed AReAM enables the attention map to contract towards more semantic regions.

实验结果

研究问题

• RQ1 深度关联矩阵中的无纪律性过平滑是否会导致视觉变换器在 WSSS 任务中注意力质量下降？
• RQ2 过平滑在多大程度上导致深层中的背景噪声和目标激活不完整？
• RQ3 浅层全局关系能否有效监督深层注意力以缓解过平滑问题？
• RQ4 基于熵的自适应加权机制如何改善跨层关联矩阵的校准？
• RQ5 AReAM 是否能在不修改架构的前提下，同时提升目标定位与背景抑制能力？

主要发现

• 在 PASCAL VOC 2012 数据集上，AReAM 达到 66.4% 的 mIoU，相比无 AReAM 的基线模型绝对提升 2.4%。
• 在 COCO-2017 数据集上，AReAM 将 mIoU 从 70.0% 提升至 70.4%，表明在多个基准上均具有一致性增益。
• 逐层分析显示，在 MCTFormer 中应用 AReAM 后，第 8 层的 mIoU 提升了 25%，证实其在深层中的有效性。
• 可视化注意力图显示，该方法显著降低了背景噪声，尤其在噪声最显著的深层中效果明显。
• 聚合所有校准后的关联矩阵优于使用单一最佳层，证明了 AReAM 的互补优势。
• 自适应熵加权机制在无需额外参数或训练复杂度的前提下，实现了有效监督。

(a) Global gains with averaged Affinity Matrix.