[论文解读] Cascaded Refinement Network for Point Cloud Completion

Xiaogang Wang, Marcelo H. Ang+1 more|arXiv (Cornell University)|Apr 7, 2020

3D Shape Modeling and Analysis参考文献 53被引用 19

一句话总结

本文提出一种用于3D点云补全的级联优化网络，通过从部分输入中保留局部细节，并采用粗到细的策略生成高保真度的缺失部分。通过结合基于局部块的判别器、迭代优化以及特征收缩-扩展模块，该方法在多个基准测试中实现了最先进性能，同时提升了细节保真度并减小了模型尺寸。

ABSTRACT

Point clouds are often sparse and incomplete. Existing shape completion methods are incapable of generating details of objects or learning the complex point distributions. To this end, we propose a cascaded refinement network together with a coarse-to-fine strategy to synthesize the detailed object shapes. Considering the local details of partial input with the global shape information together, we can preserve the existing details in the incomplete point set and generate the missing parts with high fidelity. We also design a patch discriminator that guarantees every local area has the same pattern with the ground truth to learn the complicated point distribution. Quantitative and qualitative experiments on different datasets show that our method achieves superior results compared to existing state-of-the-art approaches on the 3D point cloud completion task. Our source code is available at https://github.com/xiaogangw/cascaded-point-completion.git.

研究动机与目标

• 为从稀疏且不完整的点云中生成高保真度、细节丰富的3D形状提供解决方案。
• 克服现有方法在部分输入中无法保留细粒度结构细节（如椅子腿）的局限性。
• 开发一种粗到细的框架，联合优化重建损失与对抗性损失，以提升几何真实感。
• 通过基于局部块的判别器强制实施局部模式一致性，以学习复杂的点分布。
• 在保持或提升性能的同时，减小模型尺寸，优于先前的最先进方法。

提出的方法

• 生成器采用三阶段架构：通过两个MLP结合最大池化进行特征提取，使用全连接层进行粗略重建，以及通过带有提升模块的级联优化子网络实现密集重建。
• 通过跳跃连接将不完整的输入与粗略输出相连，以保留现有结构细节。
• 采用具有特征收缩与扩展单元的迭代优化解码器，从局部和全局两个层次逐步优化点的位置。
• 引入基于局部块的判别器，通过比较生成点云与真实点云的局部块，强制实现局部结构一致性，从而提升对真实分布的保真度。
• 将对抗性训练与重建损失（Chamfer Distance）相结合，联合优化几何精度与感知真实感。
• 在训练过程中对部分输入应用镜像增强，以提升泛化能力与对称性学习效果。

实验结果

研究问题

• RQ1 级联优化策略是否能够在保留部分点云中细粒度结构细节的同时，生成逼真的缺失部分？
• RQ2 与全局判别器相比，基于局部块的判别器在建模复杂点云分布方面有何改进？
• RQ3 通过收缩-扩展单元实现的迭代优化在提升点云密度与几何精度方面达到何种程度？
• RQ4 所提出方法在标准3D补全基准测试中是否优于最先进方法？
• RQ5 该模型是否能在参数更少、模型尺寸更小的情况下维持高性能？

主要发现

• 在ShapeNet数据集上，该方法在20%遮挡条件下的Chamfer Distance（CD）达到5.52 × 10⁻⁴，优于PCN（7.69 × 10⁻⁴）和TopNet（8.46 × 10⁻⁴）。
• 在70%遮挡条件下，该方法的CD为21.27 × 10⁻⁴，显著低于PCN（23.60 × 10⁻⁴）和TopNet（23.20 × 10⁻⁴），表明对高比例缺失数据具有强鲁棒性。
• 生成点云的分类准确率达到94.17%，较PCN和TopNet提升1.59个百分点，表明语义保真度更高。
• 模型参数量为5.14M，大小为61.90MB，小于PCN（6.85M，82.30MB）和TopNet（9.96M，79.80MB），展现出更高的效率。
• 消融实验表明，若移除任一模块（如判别器、均值形状、收缩-扩展单元或镜像操作），性能均会下降，验证了各模块的贡献。
• 形状插值结果表明，潜在向量之间的过渡平滑，证实所学习的特征保留了有意义的几何语义。