[论文解读] LSANet: Feature Learning on Point Sets by Local Spatial Aware Layer

Lin-Zhuo Chen, Xuanyi Li+4 more|arXiv (Cornell University)|May 14, 2019

3D Shape Modeling and Analysis参考文献 28被引用 24

一句话总结

LSANet 引入了一个局部空间感知（LSA）层，通过从局部点云区域层次化地学习空间分布权重（SDWs）来增强几何特征学习。通过将 SDWs 与共享的多层感知机（MLP）结合，LSANet 比以往方法更稳健地捕捉到细粒度的空间结构，在仅使用 1024 个点的情况下于 ModelNet40 上实现了 93.2% 的准确率，超越了相同条件下的最先进方法。

ABSTRACT

Directly learning features from the point cloud has become an active research direction in 3D understanding. Existing learning-based methods usually construct local regions from the point cloud and extract the corresponding features. However, most of these processes do not adequately take the spatial distribution of the point cloud into account, limiting the ability to perceive fine-grained patterns. We design a novel Local Spatial Aware (LSA) layer, which can learn to generate Spatial Distribution Weights (SDWs) hierarchically based on the spatial relationship in local region for spatial independent operations, to establish the relationship between these operations and spatial distribution, thus capturing the local geometric structure sensitively.We further propose the LSANet, which is based on LSA layer, aggregating the spatial information with associated features in each layer of the network better in network design.The experiments show that our LSANet can achieve on par or better performance than the state-of-the-art methods when evaluating on the challenging benchmark datasets. For example, our LSANet can achieve 93.2% accuracy on ModelNet40 dataset using only 1024 points, significantly higher than other methods under the same conditions. The source code is available at https://github.com/LinZhuoChen/LSANet.

研究动机与目标

• 为解决现有点云网络在捕捉细粒度几何模式时因空间独立特征操作而产生的局限性。
• 设计一种可学习模块，显式建模局部点区域的空间分布，以提升几何感知能力。
• 开发一种深度网络架构，利用所提出的 LSA 层分层聚合空间与特征信息。
• 在减少对采样密度和几何变换敏感性的前提下，实现在 3D 识别基准上的最先进性能。

提出的方法

• LSA 层基于局部点区域的完整空间配置生成空间分布权重（SDWs），而非依赖单个点向量。
• SDWs 通过区域空间编码器学习，以捕捉每个局部邻域内的全局空间关系。
• SDWs 与共享的多层感知机（MLP）集成，实现空间感知的特征学习，使操作对几何结构更加敏感。
• SFE（采样与特征编码）层将空间坐标提升至更高维表示，以更好地匹配特征维度。
• 网络采用分层设计，通过多层 LSA 和 SFE 层构建深层、空间感知的特征表示。
• LSA 层支持结合 SDW 的最大池化操作，实现对最具空间代表性特征的选择。

实验结果

研究问题

• RQ1 可学习的空间加权机制是否能提升点云网络中的几何特征学习？
• RQ2 对局部区域完整空间分布的建模在多大程度上增强了对几何变换的鲁棒性？
• RQ3 与空间无关的方法相比，LSA 层在 3D 分类和分割任务上的性能提升程度如何？
• RQ4 LSANet 在不同点云密度和输入尺寸下的表现如何？

主要发现

• LSANet 在仅使用 1024 个输入点的情况下，于 ModelNet40 数据集上实现了 93.2% 的准确率，优于相同条件下以往的最先进方法。
• 消融实验表明，LSA 层贡献了 1.1% 的准确率提升，且区域空间编码器与 SDW 集成的最大池化进一步优化了性能。
• LSANet 在不同点密度下均保持强劲性能，即使在仅 64 个点时也表现出稳定的准确率，显示出对稀疏输入的鲁棒性。
• 在分割任务中，LSANet 在 ShapeNet、ScanNet 和 S3DIS 数据集上均优于 PointNet++、SpecGCN 和 SpiderCNN。
• 分类任务中模型参数量为 230 万个，分割任务中少于 230 万个，推理时间仅为 0.060 秒，快于 SpiderCNN，且与 PointNet++ 相当。
• SDW 的可视化显示各通道具有特定的方向偏好，证实该模块能有效感知细粒度的几何模式。