[论文解读] FG-Net: Fast Large-Scale LiDAR Point Clouds Understanding Network Leveraging Correlated Feature Mining and Geometric-Aware Modelling

Kangcheng Liu, Zhi Gao+2 more|arXiv (Cornell University)|Dec 17, 2020

3D Shape Modeling and Analysis参考文献 63被引用 32

一句话总结

FG-Net 是一个通用深度学习框架，能够快速、准确理解大规模激光雷达点云，且无需体素化，在 GTX 1080 上实现实时性能。

ABSTRACT

This work presents FG-Net, a general deep learning framework for large-scale point clouds understanding without voxelizations, which achieves accurate and real-time performance with a single NVIDIA GTX 1080 GPU. First, a novel noise and outlier filtering method is designed to facilitate subsequent high-level tasks. For effective understanding purpose, we propose a deep convolutional neural network leveraging correlated feature mining and deformable convolution based geometric-aware modelling, in which the local feature relationships and geometric patterns can be fully exploited. For the efficiency issue, we put forward an inverse density sampling operation and a feature pyramid based residual learning strategy to save the computational cost and memory consumption respectively. Extensive experiments on real-world challenging datasets demonstrated that our approaches outperform state-of-the-art approaches in terms of accuracy and efficiency. Moreover, weakly supervised transfer learning is also conducted to demonstrate the generalization capacity of our method.

研究动机与目标

• 解决 LiDAR 点云中的噪声和离群点，以提升下游理解任务的性能。
• 开发基于点的网络，利用相关特征挖掘和可变形几何建模来处理大尺度场景。
• 通过逆密度采样和特征金字塔残差架构提升效率。
• 在大规模点云上实现实时推理，并通过弱监督迁移学习展示泛化能力。

提出的方法

• 引入基于半径和高斯分布的噪声与离群点过滤，对点云进行预处理清洗。
• 提出 FG-Conv 模块，包含三个子组件：Pointwise Correlated Features Mining (PFM)、Geometric Convolutional Modelling (GCM) 和 Attentional Aggregation (AG)。
• 使用可变形的3D卷积核以适应局部几何结构，从而实现对局部几何建模的鲁棒性。
• 应用注意力机制在邻域内融合局部与非局部特征。
• 实现一个特征金字塔残差学习框架，以高效融合多分辨率特征。
• 结合全球自注意力模块以捕捉长程依赖并增强局部特征。

实验结果

研究问题

• RQ1 在大规模 LiDAR 数据集上，FG-Net 在语义分割和目标分类的准确性方面表现如何？
• RQ2 在不进行体素化的情况下，FG-Net 是否能够在标准 GPU 上实现实时或接近实时的推理？
• RQ3 PFMs、GCMs 和注意力聚合组件是否相对于基线点基方法带来可衡量的提升？
• RQ4 通过弱监督迁移学习，FG-Net 在未见场景上的泛化能力如何？
• RQ5 噪声/离群点过滤和逆密度采样对最终性能有何影响？

主要发现

• FG-Net 在具有挑战性的真实世界数据集上在准确性和效率方面超越了最先进的方法。
• 该模型在 GTX 1080 GPU 上实现了实时分割性能（示例：每1e5个点0.021s）。
• 一种快速的噪声/离群点过滤方法（每1e6个点0.61s）提升了鲁棒性和下游性能。
• 弱监督迁移学习展示了对新场景的泛化能力。
• 特征金字塔残差架构实现了记忆高效的多尺度融合，同时不过度牺牲精度。