[论文解读] (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network

Ran Cheng, Ryan Razani+3 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 39被引用 27

一句话总结

本论文提出 (AF)²-S3Net，一种端到端的三维稀疏卷积神经网络，具备 Attentive Feature Fusion (AF2M) 和 Adaptive Feature Selection (AFSM) 模块，用于提升 LiDAR 语义分割，在 SemanticKITTI 上达到最先进水平，并对 nuScenes-lidarseg 展现出较强的泛化能力。

ABSTRACT

Autonomous robotic systems and self driving cars rely on accurate perception of their surroundings as the safety of the passengers and pedestrians is the top priority. Semantic segmentation is one the essential components of environmental perception that provides semantic information of the scene. Recently, several methods have been introduced for 3D LiDAR semantic segmentation. While, they can lead to improved performance, they are either afflicted by high computational complexity, therefore are inefficient, or lack fine details of smaller instances. To alleviate this problem, we propose AF2-S3Net, an end-to-end encoder-decoder CNN network for 3D LiDAR semantic segmentation. We present a novel multi-branch attentive feature fusion module in the encoder and a unique adaptive feature selection module with feature map re-weighting in the decoder. Our AF2-S3Net fuses the voxel based learning and point-based learning into a single framework to effectively process the large 3D scene. Our experimental results show that the proposed method outperforms the state-of-the-art approaches on the large-scale SemanticKITTI benchmark, ranking 1st on the competitive public leaderboard competition upon publication.

研究动机与目标

• 在稀疏点云条件下，为自动驾驶系统提供更准确的3D LiDAR 语义分割的动机。
• 引入双注意力架构以融合多尺度特征并突出细节。
• 提供统一的体素-点处理框架，融合体素和点学习以适应大规模场景。
• 在 SemanticKITTI 上展示最先进性能，并在 nuScenes-lidarseg 和 ModelNet40 上验证泛化能力。

提出的方法

• 提出 AF2M，在小、中、大核之间融合表示点基和体素上下文的多分支特征。
• 在解码器中引入 AFSM，以自适应地重新加权和选择多尺度特征。
• 在 Minkowski Engine 上构建端到端的3D稀疏CNN，带残差骨干网络。
• 使用由 Exponential-Log、几何感知各向异性和 Lovász 损失组成的复合损失（权重分别为 1、1.5、1.5）。
• 将 LiDAR 帧处理为稀疏张量，坐标为 C，特征为 F（x,y,z, 强度，法向量），用于逐点分割。

实验结果

研究问题

• RQ1 AF2M 是否能够在稀疏3D LiDAR 数据中同时捕捉局部细节与全局上下文？
• RQ2 自适应特征选择模块通过在解码器中对多尺度特征重新加权，是否提升了泛化能力？
• RQ3 与最先进方法相比，(AF)²-S3Net 在 SemanticKITTI、nuScenes-lidarseg 和 ModelNet40 上的表现如何？
• RQ4 综合损失（Exponential-Log、geo-aware、Lovász）对分割精度有何影响？

主要发现

• (AF)²-S3Net 在 SemanticKITTI 测试集上达到最先进的平均 IoU（69.7），超过 SPVNAS 与 MinkNet42 基线。
• 该方法在小目标类别上特别具备显著提升，如 Bicycle（65.4）、Motorcycle（86.8）、Pole（61.5）。
• 在 nuScenes-lidarseg 验证集上，(AF)²-S3Net 获得 Mean IoU 62.2 和 FW IoU 83.0，超过 MinkNet42 和 SalsaNext 基线。
• 消融研究表明 AF2M 与 AFSM 共同带来 68.6 mIoU，结合 Lovász 与 geo-aware 损失在 SemanticKITTI 验证集达到 74.2 mIoU。
• 在 ModelNet40 分类中，使用 AF2M 的总体准确率达到 93.16%，与领先的基于点的方法相当。
• 定性结果表明在捕捉细节方面有所提升（如车辆、植被等），并且距离相关的性能更好。