[论文解读] Learning Implicit Feature Alignment Function for Semantic Segmentation

Hanzhe Hu, Yinbo Chen+5 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出隐式特征对齐（Implicit Feature Alignment, IFA），一种新颖方法，利用隐式神经表示在语义分割中对齐多层级特征图，无需双线性上采样或复杂卷积。通过将特征视为连续的空间场，IFA 利用多层感知机（MLP）通过相对坐标查询附近特征，实现无分辨率限制、精确且高效的特征聚合，在 Cityscapes、PASCAL Context 和 ADE20K 上实现了最先进的精度-计算权衡。

ABSTRACT

Integrating high-level context information with low-level details is of central importance in semantic segmentation. Towards this end, most existing segmentation models apply bilinear up-sampling and convolutions to feature maps of different scales, and then align them at the same resolution. However, bilinear up-sampling blurs the precise information learned in these feature maps and convolutions incur extra computation costs. To address these issues, we propose the Implicit Feature Alignment function (IFA). Our method is inspired by the rapidly expanding topic of implicit neural representations, where coordinate-based neural networks are used to designate fields of signals. In IFA, feature vectors are viewed as representing a 2D field of information. Given a query coordinate, nearby feature vectors with their relative coordinates are taken from the multi-level feature maps and then fed into an MLP to generate the corresponding output. As such, IFA implicitly aligns the feature maps at different levels and is capable of producing segmentation maps in arbitrary resolutions. We demonstrate the efficacy of IFA on multiple datasets, including Cityscapes, PASCAL Context, and ADE20K. Our method can be combined with improvement on various architectures, and it achieves state-of-the-art computation-accuracy trade-off on common benchmarks. Code will be made available at https://github.com/hzhupku/IFA.

研究动机与目标

• 解决语义分割中双线性上采样和基于卷积的特征对齐效率低下与精度不足的问题。
• 克服固定分辨率特征对齐的局限性，特别是在高层与低层特征之间存在较大分辨率差异时。
• 通过使用隐式神经表示将多层级特征建模为连续场，实现精确、无分辨率限制的特征聚合。
• 提升计算效率与内存使用效率，尤其适用于高分辨率分割与边缘设备部署。
• 在多个基准测试中，相比现有最先进方法，实现更优的精度-计算权衡。

提出的方法

• 将多层级特征图视为信息的连续二维场，其中每个特征向量代表空间中一个潜在编码。
• 对于任意查询坐标，从不同层级提取其附近的特征向量及其相对于查询点的相对空间偏移量。
• 将拼接后的特征向量与相对坐标输入多层感知机（MLP），以预测查询点处的对齐特征值。
• 通过允许 MLP 在任意坐标上解码特征，实现任意分辨率推理，无需固定分辨率的上采样。
• 在 FPN 等架构中，用 IFA 模块替换标准的双线性上采样与卷积对齐模块，实现端到端集成。
• 将 IFA 与多种主干网络架构结合，并可选地添加 ASPP 模块以实现上下文建模，同时保持高效率。

实验结果

研究问题

• RQ1 隐式神经表示能否有效应用于语义分割中的特征对齐，以提升精度与效率？
• RQ2 与双线性上采样和基于卷积的对齐方法相比，IFA 在精度与计算成本方面表现如何？
• RQ3 当特征图之间的分辨率差距较大时，IFA 是否仍能保持或提升性能？
• RQ4 IFA 是否能无缝集成到现有分割架构中，而无需进行架构层面的全面重构？
• RQ5 在 Cityscapes、PASCAL Context 和 ADE20K 等多样化基准上，IFA 对精度-计算权衡的影响如何？

主要发现

• 在 Cityscapes 测试集上，IFA 达到 82.0 mIoU，优于 SFNet（81.8），且计算成本仅为后者的 61%，参数量仅为 SegFormer 的 32%。
• 在 PASCAL Context 上，IFA 实现 53.8% mIoU，计算量为 63.5 GFLOPs，性能与 SFNet（53.8% mIoU）相当，但计算量仅为后者的 61%。
• 在 ADE20K 上，IFA 实现 45.98% mIoU，计算量为 72.0 GFLOPs，显著优于 CPNet（46.27% mIoU），且计算成本仅为后者的 22%。
• 与 SFNet 相比，IFA 将计算成本降低高达 57%，同时保持或提升精度，展现出卓越的效率。
• 在对齐分辨率差异较大的特征时，IFA 展现出更大的性能增益，证实其在高分辨率分割中的有效性。
• 在 IFA 中添加 ASPP 模块可进一步提升性能，表明其与现有上下文建模技术具有良好的兼容性。