[论文解读] A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion

Zhaoyang Lyu, Zhifeng Kong+3 more|arXiv (Cornell University)|Dec 7, 2021

3D Shape Modeling and Analysis被引用 41

一句话总结

引入一个两阶段的 PDR 框架，使用条件 DDPM（CGNet）生成粗糙、均匀的完整点云，并由 RFNet 进行细化，在显著提速的同时保持极小的质量损失，达到最先进的完成效果。

ABSTRACT

3D point cloud is an important 3D representation for capturing real world 3D objects. However, real-scanned 3D point clouds are often incomplete, and it is important to recover complete point clouds for downstream applications. Most existing point cloud completion methods use Chamfer Distance (CD) loss for training. The CD loss estimates correspondences between two point clouds by searching nearest neighbors, which does not capture the overall point density distribution on the generated shape, and therefore likely leads to non-uniform point cloud generation. To tackle this problem, we propose a novel Point Diffusion-Refinement (PDR) paradigm for point cloud completion. PDR consists of a Conditional Generation Network (CGNet) and a ReFinement Network (RFNet). The CGNet uses a conditional generative model called the denoising diffusion probabilistic model (DDPM) to generate a coarse completion conditioned on the partial observation. DDPM establishes a one-to-one pointwise mapping between the generated point cloud and the uniform ground truth, and then optimizes the mean squared error loss to realize uniform generation. The RFNet refines the coarse output of the CGNet and further improves quality of the completed point cloud. Furthermore, we develop a novel dual-path architecture for both networks. The architecture can (1) effectively and efficiently extract multi-level features from partially observed point clouds to guide completion, and (2) accurately manipulate spatial locations of 3D points to obtain smooth surfaces and sharp details. Extensive experimental results on various benchmark datasets show that our PDR paradigm outperforms previous state-of-the-art methods for point cloud completion. Remarkably, with the help of the RFNet, we can accelerate the iterative generation process of the DDPM by up to 50 times without much performance drop.

研究动机与目标

• 推动改进的点云补全，以获得均匀的密度和清晰的几何细节。
• 利用条件去噪扩散概率模型（DDPM）生成以部分观测为条件的粗略补全。
• 设计双路径的 CGNet 和 RFNet，配备新颖模块以提取多层特征并准确操作三维点的位置。
• 通过细化提高扩散基生成的速度，同时不显著降低质量。
• 在 MVP、MVP-40 和 Completion3D 上开展广泛实验，以确立最先进的性能。

提出的方法

• 将点云补全建模为一个条件 DDPM 任务，其中 CGNet 生成以不完整数据为条件的粗略补全。
• 使用 Rev 细化 RFNet 对粗糙输出进行细化并改善表面质量。
• 采用双路径架构，包含条件特征提取子网和去噪子网，并通过特征传输模块增强。
• 引入点自适应反卷积（PA-Deconv）用于上采样，在细化网络中基于 PA-Deconv 的上采样。
• 在训练中，对 DDPM 公式中预测的噪声 εθ 的简化均方误差损失进行优化，避免主 DDPM 路径的 Chamfer/EMD 损失。
• 在细化阶段，预测每个点的位移以致密化并锐化最终表面，在 Chamfer 距离与真值对比下进行监督。

实验结果

研究问题

• RQ1 相较于现有方法，基于条件 DDPM 的框架是否能提高完成点云的均匀性和质量？
• RQ2 细化网络是否能在保持扩散加速带来速度提升的同时有效提升 DDPM 生成的粗糙补全？
• RQ3 新模块（PA-Deconv、FT）以及双路径架构如何影响完成质量与效率？
• RQ4 在该范式下，密度均匀性（EMD）与局部几何细节（CD/视觉精度）之间的权衡是什么？

主要发现

• PDR 范式在 MVP、MVP-40、Completion3D 的多项基准测试中，在 CD、EMD 和 F1 指标上超过了以往的最先进方法。
• 以 DDPM 为条件的训练相比以 CD 为重点的训练，能产生更均匀的点分布（更低的 EMD）和更高质量的表面。
• RFNet 能在不显著性能损失的情况下，在扩散推理中实现最高 50 倍的加速，同时保持高质量的完成。
• 双路径的 CGNet/RFNet，配合 PA-Deconv 和特征传输模块，能够有效利用多层的不完整点特征来引导补全。
• 通过使用逐点位移的细化网络，进一步改善几何形状并实现对最终点云的可控上采样。