[论文解读] FPConv: Learning Local Flattening for Point Convolution

Yiqun Lin, Zizheng Yan+5 more|arXiv (Cornell University)|Feb 25, 2020

3D Shape Modeling and Analysis参考文献 52被引用 16

一句话总结

FPConv 为三维点云分析提出了一种新颖的表面风格卷积，通过可微分的权重图学习局部平坦化，将邻近点投影到二维网格上，从而在局部几何结构上实现高效的二维卷积。当与体素卷积联合训练时，该方法实现了最先进性能，证明了表面风格与体素风格方法之间具有显著的互补性。

ABSTRACT

We introduce FPConv, a novel surface-style convolution operator designed for 3D point cloud analysis. Unlike previous methods, FPConv doesn't require transforming to intermediate representation like 3D grid or graph and directly works on surface geometry of point cloud. To be more specific, for each point, FPConv performs a local flattening by automatically learning a weight map to softly project surrounding points onto a 2D grid. Regular 2D convolution can thus be applied for efficient feature learning. FPConv can be easily integrated into various network architectures for tasks like 3D object classification and 3D scene segmentation, and achieve comparable performance with existing volumetric-type convolutions. More importantly, our experiments also show that FPConv can be a complementary of volumetric convolutions and jointly training them can further boost overall performance into state-of-the-art results.

研究动机与目标

• 解决由于点云稀疏且无序所带来的高效且鲁棒的三维点云分析挑战。
• 克服体素卷积的局限性，如高内存消耗和计算负载。
• 通过消除对网格或图等中间表示的依赖，改进表面风格卷积。
• 探索表面风格与体素风格卷积之间的互补性，以提升整体性能。
• 开发一种可学习的隐式平坦化机制，其泛化能力优于显式投影方法。

提出的方法

• FPConv 通过学习一个可微分的权重图，对周围点进行软性投影以实现局部平坦化，避免了显式的几何投影。
• 权重图通过端到端方式学习，使网络能够自适应地确定卷积权重在局部表面的扩散方式。
• 平坦化后，对投影后的网格应用标准的二维卷积，以实现高效的局部特征学习。
• 该方法直接作用于点云几何结构，无需中间的三维网格或图结构。
• 支持集成到多种网络架构中，适用于分类与分割任务。
• 该方法采用两步归一化策略（稀疏归一化），其性能优于密集归一化。

实验结果

研究问题

• RQ1 可学习的隐式平坦化机制是否能在表面风格点云卷积中优于显式几何投影？
• RQ2 在三维点云任务中，FPConv 与现有表面风格和体素风格卷积方法相比性能如何？
• RQ3 在何种场景下，FPConv 相较于体素卷积表现更优，特别是在表面曲率方面？
• RQ4 表面风格与体素风格卷积能否有效结合以实现更优性能？
• RQ5 网格分辨率和归一化方法等架构选择如何影响 FPConv 的性能？

主要发现

• FPConv 在三维物体分类和场景分割任务上达到与最先进体素风格方法相当的性能。
• FPConv 显著优于以往的表面风格方法（如 PointConv 和 KPConv），尤其在平坦和低曲率区域表现更优。
• 在 S3DIS area 5 上，FPConv 采用稀疏归一化和 6×6 网格时，mIoU 达到 62.8，mAcc 为 69.0，oAcc 为 88.3，优于密集归一化和更小的网格。
• 该方法在平坦表面上表现出强泛化能力，而在高曲率区域性能下降，证实其对几何结构的敏感性。
• 将 FPConv 与体素卷积（如 KPConv）联合训练可实现最先进结果，证明了二者具有显著互补性。
• 可视化结果表明，FPConv 更好地捕捉了平坦结构（如柱子），而 KPConv 在复杂形状（如门）上表现更优，二者融合可获得更优结果。