[论文解读] Asymmetric Non-local Neural Networks for Semantic Segmentation

Zhen Zhu, Mengde Xu+3 more|arXiv (Cornell University)|Aug 21, 2019

Advanced Neural Network Applications参考文献 51被引用 77

一句话总结

引入 Asymmetric Pyramid Non-local Block (APNB) 和 Asymmetric Fusion Non-local Block (AFNB)，以降低语义分割中非局部模块的计算量和内存占用，在 Cityscapes、ADE20K 和 PASCAL Context 上取得了最新的结果。

ABSTRACT

The non-local module works as a particularly useful technique for semantic segmentation while criticized for its prohibitive computation and GPU memory occupation. In this paper, we present Asymmetric Non-local Neural Network to semantic segmentation, which has two prominent components: Asymmetric Pyramid Non-local Block (APNB) and Asymmetric Fusion Non-local Block (AFNB). APNB leverages a pyramid sampling module into the non-local block to largely reduce the computation and memory consumption without sacrificing the performance. AFNB is adapted from APNB to fuse the features of different levels under a sufficient consideration of long range dependencies and thus considerably improves the performance. Extensive experiments on semantic segmentation benchmarks demonstrate the effectiveness and efficiency of our work. In particular, we report the state-of-the-art performance of 81.3 mIoU on the Cityscapes test set. For a 256x128 input, APNB is around 6 times faster than a non-local block on GPU while 28 times smaller in GPU running memory occupation. Code is available at: https://github.com/MendelXu/ANN.git.

研究动机与目标

• 在保留语义分割性能的同时，推动降低标准非局部块的高计算量和内存成本。
• 通过嵌入金字塔采样模块来采样非局部运算的锚点，从而提出 APNB。
• 提出 AFNB 以利用长程依赖融合多层特征。
• 展示在时间和内存方面的效率提升，以及在 Cityscapes、ADE20K 和 PASCAL Context 上的最先进准确率。

提出的方法

• 重新审视标准非局部块，发现计算所有 N 个空间位置之间的相似性与聚合时的 dominant O(CN^2) 复杂度。
• 在 theta 和 gamma 嵌入之后通过空间金字塔池化引入采样，以获得一小组锚点 S，相比 O(CN^2) 将复杂度降至 O(CNS)。
• 通过在 phi 与 theta_P 之间计算 V_P、对其归一化以获得 V_P、再与 gamma_P 聚合以产生 O_P，然后与 X 拼接得到 Y_P，从而定义 APNB。
• 在 AFNB 中，通过计算 phi_h 与 theta_l 之间的跨层相似性 V_F，将高层与低层特征融合，然后与 gamma_l 聚合以获得 O_F，并与 X_h 融合。
• 将架构扩展为带有 ResNet-101 主干和膨胀卷积；应用两个监督信号（final 和 Stage4）以及在线难样本像素挖掘进行训练。

实验结果

研究问题

• RQ1 是否可以通过通过金字塔池化对锚点进行采样，在不牺牲分割性能的前提下显著提高非局部块的效率？
• RQ2 非对称非局部设计（APNB 和 AFNB）是否在准确性和效率方面优于标准非局部块或简单融合方案？
• RQ3 采样策略和锚点数量对标准基准数据集的分割性能有何影响？

主要发现

• APNB 在与标准非局部块相比时，获得了显著的效率提升（对于 256x128 输入，约 6x 提速且 GPU 内存减少 28x），性能损失可以忽略不计。
• AFNB 通过利用长程依赖改善跨层特征融合，相对于基线带来显著的性能提升。
• 完整的非对称非局部网络（AFNB + APNB）在 Cityscapes (81.3% mIoU)、ADE20K (45.24%) 和 PASCAL Context (52.8%) 上达到最先进结果。
• 使用带锚点的金字塔采样（S）和金字塔尺寸（1,3,6,8）可获得 Cityscapes 最佳性能；更多锚点在计算成本上提升准确性。
• 高效的 APNB 设计在与 NB 和 DenseASPP/PSANet 基线相比时显著降低 GFLOPs、GPU 内存和推理时间，同时保持高精度。