[论文解读] AlignSeg: Feature-Aligned Segmentation Networks

Zilong Huang, Yunchao Wei+4 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 54被引用 8

一句话总结

本文提出 AlignSeg，一种新型语义分割网络，通过在多分辨率特征聚合与上下文特征融合中引入可学习的二维变换偏移量，解决了特征错位问题。通过在对齐特征聚合（AlignFA）和对齐上下文建模（AlignCM）模块中引入可学习的2D变换偏移，AlignSeg 在 Cityscapes 上达到 82.6% 的 mIoU，在 ADE20K 上达到 45.95% 的 mIoU，性能达到当前最先进水平。

ABSTRACT

Aggregating features in terms of different convolutional blocks or contextual embeddings has been proven to be an effective way to strengthen feature representations for semantic segmentation. However, most of the current popular network architectures tend to ignore the misalignment issues during the feature aggregation process caused by 1) step-by-step downsampling operations, and 2) indiscriminate contextual information fusion. In this paper, we explore the principles in addressing such feature misalignment issues and inventively propose Feature-Aligned Segmentation Networks (AlignSeg). AlignSeg consists of two primary modules, i.e., the Aligned Feature Aggregation (AlignFA) module and the Aligned Context Modeling (AlignCM) module. First, AlignFA adopts a simple learnable interpolation strategy to learn transformation offsets of pixels, which can effectively relieve the feature misalignment issue caused by multiresolution feature aggregation. Second, with the contextual embeddings in hand, AlignCM enables each pixel to choose private custom contextual information in an adaptive manner, making the contextual embeddings aligned better to provide appropriate guidance. We validate the effectiveness of our AlignSeg network with extensive experiments on Cityscapes and ADE20K, achieving new state-of-the-art mIoU scores of 82.6% and 45.95%, respectively. Our source code will be made available.

研究动机与目标

• 解决卷积神经网络在多分辨率特征聚合过程中，因逐步下采样导致的特征错位这一长期存在的问题。
• 通过实现自适应、像素级的上下文选择，克服上下文特征融合中缺乏区分性的局限。
• 通过高分辨率与低分辨率特征的精确空间对齐，提升语义分割中边界预测的准确性。
• 通过在特征聚合与上下文建模中集成可学习对齐机制，实现在基准数据集上的最先进性能。
• 通过在 COCO 上将 AlignFA 模块适配至 Mask R-CNN，证明其在实例分割任务中的泛化能力。

提出的方法

• 提出对齐特征聚合（AlignFA）模块，该模块使用两个可学习的卷积核，为低分辨率和高分辨率特征图分别预测2D变换偏移量。
• 利用这些学习到的偏移量执行空间自适应插值，在特征融合前实现对齐，从而减少下采样带来的错位。
• 引入对齐上下文建模（AlignCM）模块，通过带有可学习偏移量的池化操作，实现每个像素点上局部特征与上下文特征的对齐。
• 采用自底向上的特征聚合架构，通过预测的偏移量实现高分辨率与低分辨率特征的精确空间对齐。
• 使用标准交叉熵损失端到端训练网络，同时优化对齐与分割目标。
• 将 AlignFA 模块适配至 Mask R-CNN 用于实例分割，用基于可学习偏移量的对齐机制替代标准的 FPN 上采样。

实验结果

研究问题

• RQ1 可学习的特征对齐在边界区域中如何提升语义分割性能？
• RQ2 基于空间对齐的上下文特征进行自适应上下文建模，在复杂场景中能在多大程度上减少误分类？
• RQ3 基于可学习偏移量的对齐机制是否能在多分辨率特征融合中超越标准插值方法？
• RQ4 所提出的对齐机制是否能泛化到语义分割之外的其他密集预测任务（如实例分割）？
• RQ5 对齐特征聚合与上下文建模的结合方式与现有最先进架构相比，在标准基准测试中表现如何？

主要发现

• AlignSeg 在 Cityscapes 测试集上实现了 82.6% 的 mIoU，创下新的最先进水平，优于以往方法。
• 在 ADE20K 验证集上，AlignSeg 达到 45.95% 的 mIoU，超过此前最佳结果 ACNet 的 45.90%。
• 消融实验表明，AlignFA 和 AlignCM 均对性能提升有显著贡献，尤其在边界区域预测方面。
• 可视化结果表明，学习到的偏移图能有效纠正空间错位，特别是在物体边界区域。
• 在 COCO 上通过将 AlignFA 模块适配至 Mask R-CNN 用于实例分割时，掩码 AP 从 35.9 提升至 37.2。
• 该模型展现出鲁棒性与泛化能力，在多种数据集和任务中均保持一致的性能提升。