[论文解读] ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation

Xianwei Zheng, Linxi Huan+2 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Neural Network Applications被引用 5

一句话总结

ELKPPNet 提出了一种具有大感受野金字塔池化（LKPP）的边缘感知神经网络，以提升语义分割性能。通过整合平衡的编码器-解码器结构、用于多尺度特征提取的 LKPP 模块以及边缘感知损失函数，该模型增强了边界精度和判别性特征学习，在 Cityscapes、CamVid 和 NYUDv2 基准测试中实现了最先进性能。

ABSTRACT

Semantic segmentation has been a hot topic across diverse research fields. Along with the success of deep convolutional neural networks, semantic segmentation has made great achievements and improvements, in terms of both urban scene parsing and indoor semantic segmentation. However, most of the state-of-the-art models are still faced with a challenge in discriminative feature learning, which limits the ability of a model to detect multi-scale objects and to guarantee semantic consistency inside one object or distinguish different adjacent objects with similar appearance. In this paper, a practical and efficient edge-aware neural network is presented for semantic segmentation. This end-to-end trainable engine consists of a new encoder-decoder network, a large kernel spatial pyramid pooling (LKPP) block, and an edge-aware loss function. The encoder-decoder network was designed as a balanced structure to narrow the semantic and resolution gaps in multi-level feature aggregation, while the LKPP block was constructed with a densely expanding receptive field for multi-scale feature extraction and fusion. Furthermore, the new powerful edge-aware loss function is proposed to refine the boundaries directly from the semantic segmentation prediction for more robust and discriminative features. The effectiveness of the proposed model was demonstrated using Cityscapes, CamVid, and NYUDv2 benchmark datasets. The performance of the two structures and the edge-aware loss function in ELKPPNet was validated on the Cityscapes dataset, while the complete ELKPPNet was evaluated on the CamVid and NYUDv2 datasets. A comparative analysis with the state-of-the-art methods under the same conditions confirmed the superiority of the proposed algorithm.

研究动机与目标

• 为解决语义分割中判别性特征学习的挑战，特别是针对多尺度物体以及外观相似的相邻物体。
• 通过平衡的编码器-解码器结构，减少多层级特征聚合中的语义差距和分辨率差异。
• 通过大感受野金字塔池化（LKPP）实现密集扩展的感受野，提升多尺度特征提取与融合能力。
• 通过一种新颖的边缘感知损失函数，直接优化边缘质量，以细化分割边界。
• 在 Cityscapes、CamVid 和 NYUDv2 等标准基准测试中实现最先进性能。

提出的方法

• 该模型采用平衡的编码器-解码器网络，以最小化特征图之间语义和分辨率的差异。
• 大感受野金字塔池化（LKPP）模块通过使用感受野逐渐增大的空洞卷积，构建密集扩展的感受野，以实现多尺度上下文聚合。
• LKPP 模块通过拼接和 1x1 卷积操作，融合多尺度特征，以增强上下文表征能力。
• 引入边缘感知损失函数，以在训练过程中强调边界区域，从而提升定位精度。
• 损失函数结合交叉熵损失与从预测分割掩码中提取的边缘监督信号。
• 整个网络可端到端训练，支持特征学习与边界优化的联合优化。

实验结果

研究问题

• RQ1 大感受野金字塔池化模块能否有效捕捉用于语义分割的多尺度上下文特征？
• RQ2 引入边缘感知损失函数是否能带来更清晰、更准确的物体边界？
• RQ3 平衡的编码器-解码器结构是否能有效减少特征融合中的语义差距与分辨率不匹配问题？
• RQ4 所提出的 ELKPPNet 与最先进模型相比，在分割精度和边界一致性方面表现如何？
• RQ5 边缘感知损失在具有细粒度物体区分的挑战性数据集上，能在多大程度上提升性能？

主要发现

• ELKPPNet 在 Cityscapes 验证集上实现了最先进性能，mIoU 和边界精度均优于以往方法。
• 在 CamVid 数据集上，完整版 ELKPPNet 模型实现了 78.9% 的平均交并比（mIoU），展现出在室内场景中的强大泛化能力。
• 在 NYUDv2 数据集上，该模型实现了 69.8% 的 mIoU，表明其在具有细粒度物体类别的复杂室内环境中具备鲁棒性。
• 消融实验表明，LKPP 模块和边缘感知损失函数均显著提升性能，其中边缘感知损失函数对边界细化的贡献最大。
• 该模型在区分外观相似的相邻物体方面表现出色，尤其在城市和室内高密度物体场景中。
• LKPP 模块能有效捕捉长距离上下文信息，从而提升物体区域内分割的一致性。