[论文解读] GRNet: Gridding Residual Network for Dense Point Cloud Completion

Haozhe Xie, Hongxun Yao+4 more|arXiv (Cornell University)|Jun 6, 2020

3D Shape Modeling and Analysis参考文献 53被引用 30

一句话总结

GRNet 引入可微分网格化、网格化反向和三次特征采样，以将不规则点云转换为用于完成的3D网格，在 ShapeNet、Completion3D 和 KITTI 上取得最先进的结果。

ABSTRACT

Estimating the complete 3D point cloud from an incomplete one is a key problem in many vision and robotics applications. Mainstream methods (e.g., PCN and TopNet) use Multi-layer Perceptrons (MLPs) to directly process point clouds, which may cause the loss of details because the structural and context of point clouds are not fully considered. To solve this problem, we introduce 3D grids as intermediate representations to regularize unordered point clouds. We therefore propose a novel Gridding Residual Network (GRNet) for point cloud completion. In particular, we devise two novel differentiable layers, named Gridding and Gridding Reverse, to convert between point clouds and 3D grids without losing structural information. We also present the differentiable Cubic Feature Sampling layer to extract features of neighboring points, which preserves context information. In addition, we design a new loss function, namely Gridding Loss, to calculate the L1 distance between the 3D grids of the predicted and ground truth point clouds, which is helpful to recover details. Experimental results indicate that the proposed GRNet performs favorably against state-of-the-art methods on the ShapeNet, Completion3D, and KITTI benchmarks.

研究动机与目标

• 推动从不完整扫描中实现密集点云完成，并在超越基于MLP的方法的同时保持几何结构。
• 使用3D网格作为中间的规则表示来对无序点云进行正则化。
• 开发可微分的Gridding、Gridding Reverse和Cubic Feature Sampling层，以连接网格与点。
• 引入Gridding Loss，以强制预测网格表示与真实网格之间的L1对齐。

提出的方法

• 引入3D网格作为中间表示，以正则化无序点云。
• 开发Gridding，将点云转换为每个网格单元具有八顶点插值的规则3D网格。
• 在网格值上应用3D卷积神经网络以学习上下文感知特征。
• 使用Gridding Reverse从网格重建粗点云。
• 在最终基于MLP的细化之前，使用Cubic Feature Sampling将相邻网格特征附加到粗点上。
• 使用Gridding Loss进行训练，该损失计算预测网格与真实网格之间的L1差异。

实验结果

研究问题

• RQ1 相比体素/MLP方法，3D网格是否能更好地保留不规则点云的结构和上下文以用于完成？
• RQ2 可微分的Gridding、Gridding Reverse和Cubic Feature Sampling是否在细节保留和精度方面优于先前的方法？
• RQ3 Gridding Loss是否为点云完成提供比Chamfer Distance更好的几何真实感？

主要发现

• GRNet 在 ShapeNet 的 Chamfer Distance 和 F-Score 指标上超越了最先进的方法。
• 在 Completion3D 上，GRNet 达到了最佳 Chamfer Distance，在排行榜上名列第一。
• 与竞争对手相比，GRNet 在 KITTI LiDAR 小车完成任务上提高了一致性和均匀性。
• 消融研究显示 Gridding、Cubic Feature Sampling 和 Gridding Loss 的好处，较高的网格分辨率和更丰富的特征图带来更好的结果。
• GRNet 在提高网格分辨率的同时，保持竞争性的回传时间和参数数量。