[论文解读] Attention to Scale: Scale-aware Semantic Image Segmentation

Liang-Chieh Chen, Yi Yang+3 more|arXiv (Cornell University)|Nov 10, 2015

Advanced Neural Network Applications参考文献 5被引用 134

一句话总结

该论文提出了一种用于语义图像分割的尺度感知注意力机制，通过动态加权共享全卷积网络生成的多尺度特征，相较于平均池化和最大池化基线方法，显著提升了性能。该方法在每个尺度上联合使用额外监督进行训练，在 PASCAL-Person-Part、PASCAL VOC 2012 和 MS-COCO 上实现了当前最优结果，同时实现了对各尺度特征重要性的诊断可视化。

ABSTRACT

Incorporating multi-scale features in fully convolutional neural networks (FCNs) has been a key element to achieving state-of-the-art performance on semantic image segmentation. One common way to extract multi-scale features is to feed multiple resized input images to a shared deep network and then merge the resulting features for pixelwise classification. In this work, we propose an attention mechanism that learns to softly weight the multi-scale features at each pixel location. We adapt a state-of-the-art semantic image segmentation model, which we jointly train with multi-scale input images and the attention model. The proposed attention model not only outperforms average- and max-pooling, but allows us to diagnostically visualize the importance of features at different positions and scales. Moreover, we show that adding extra supervision to the output at each scale is essential to achieving excellent performance when merging multi-scale features. We demonstrate the effectiveness of our model with extensive experiments on three challenging datasets, including PASCAL-Person-Part, PASCAL VOC 2012 and a subset of MS-COCO 2014.

研究动机与目标

• 解决使用深度学习处理语义图像分割中不同尺度物体的挑战。
• 克服固定融合策略（如平均池化或最大池化）对所有尺度一视同仁的局限性。
• 通过基于物体尺度学习自适应、动态的多尺度特征加权，提升分割精度。
• 实现对每个空间位置预测中各尺度贡献程度的诊断可视化。
• 证明在多尺度融合中，每个尺度上引入额外监督对实现最优性能的必要性。

提出的方法

• 通过共享网络架构，将 DeepLab-LargeFOV 模型作为多尺度输入处理的主干网络。
• 应用一种软注意力机制，为每个尺度学习空间可变的权重图，动态调制特征响应。
• 通过使用注意力权重对得分图进行加权求和来融合多尺度特征，替代固定的池化操作。
• 在每个尺度的网络最终输出处引入额外监督，以改善特征学习与融合。
• 端到端联合训练注意力模块与分割网络，使用多尺度输入和各尺度特定的监督信号。
• 采用可学习的注意力模块，根据局部上下文和物体大小关注特定尺度的特征。

实验结果

研究问题

• RQ1 可学习的注意力机制是否能在语义分割中超越固定池化策略，实现更优的多尺度特征融合？
• RQ2 注意力机制如何根据物体大小自适应地分配不同尺度特征的重要性？
• RQ3 在每个尺度上增加额外监督对分割性能有何影响？
• RQ4 注意力机制能否提供有意义的诊断洞察，揭示哪些尺度对预测贡献最大？
• RQ5 所提出的方法在具有不同物体尺度分布的多样化数据集上是否具备泛化能力？

主要发现

• 在 PASCAL VOC 2012 上，该注意力机制在尺度 {1, 0.5} 下达到 35.41% 的平均 IoU，优于最大池化（34.70%）和平均池化（35.14%）。
• 在 MS-COCO 2014 的子集上，该方法在尺度 {1, 0.75, 0.5} 下达到 35.78% 的平均 IoU，相比 DeepLab-LargeFOV 基线（31.22%）提升了 4.6%。
• 在 MS-COCO 的人像类别上，注意力模型达到 72.72% 的 IoU，相比平均池化提升 1.02%，相比最大池化提升 2.06%。
• 注意力机制支持诊断可视化，结果显示细粒度尺度特征对小物体赋予更高的注意力权重，而粗粒度尺度则更有利于捕捉大物体。
• 每个尺度上的额外监督对性能至关重要，消融实验表明，若省略该监督，性能会出现显著下降。
• 该方法在不同数据集上具有良好的泛化能力，在 PASCAL-Person-Part、PASCAL VOC 2012 和 MS-COCO 上均实现一致的性能提升，展现出对尺度差异和类别不平衡的鲁棒性。