[论文解读] A Self-supervised Cascaded Refinement Network for Point Cloud Completion.

Xiaogang Wang, Marcelo H. Ang+1 more|arXiv (Cornell University)|Oct 17, 2020

3D Shape Modeling and Analysis参考文献 70被引用 4

一句话总结

本文提出了一种用于3D点云补全的自监督级联精炼网络（CRN），在无需完全完整的地面真实数据的情况下生成高保真、细节丰富的形状。通过仅在部分输入上进行对抗性训练的粗到细精炼策略，该方法在多个数据集上的定性和定量评估中均达到了最先进性能。

ABSTRACT

Point clouds are often sparse and incomplete, which imposes difficulties for real-world applications, such as 3D object classification, detection and segmentation. Existing shape completion methods tend to generate coarse shapes of objects without fine-grained details. Moreover, current approaches require fully-complete ground truth, which are difficult to obtain in real-world applications. In view of these, we propose a self-supervised object completion method, which optimizes the training procedure solely on the partial input without utilizing the fully-complete ground truth. In order to generate high-quality objects with detailed geometric structures, we propose a cascaded refinement network (CRN) with a coarse-to-fine strategy to synthesize the complete objects. Considering the local details of partial input together with the adversarial training, we are able to learn the complicated distributions of point clouds and generate the object details as realistic as possible. We verify our self-supervised method on both unsupervised and supervised experimental settings and show superior performances. Quantitative and qualitative experiments on different datasets demonstrate that our method achieves more realistic outputs compared to existing state-of-the-art approaches on the 3D point cloud completion task.

研究动机与目标

• 解决现实世界3D视觉应用中稀疏且不完整的点云所带来的挑战，例如分类、检测和分割。
• 克服现有方法依赖完全完整的地面真实数据的局限性，而此类数据在实际中往往不可用。
• 开发一种仅基于部分输入数据进行优化的自监督训练框架，无需完整监督。
• 通过从粗到细的精炼过程生成高质量、细节丰富的3D形状，具备逼真的几何结构。

提出的方法

• 该方法采用级联精炼网络（CRN），通过从粗到细的阶段逐步优化完成过程。
• 采用仅依赖部分输入点云的自监督训练范式，消除了对完全完整的地面真实数据的需求。
• 在精炼过程中显式考虑部分输入中的局部几何细节，以保持结构保真度。
• 集成对抗性训练以增强生成点云细节的真实感，并改善分布建模。
• 通过仅在部分输入上结合重建损失和对抗性目标的损失函数，实现端到端训练。
• 从粗到细的策略支持渐进式精炼，使模型能够学习复杂的点云分布并生成细粒度结构。

实验结果

研究问题

• RQ1 一种自监督方法是否能在无需完全完整的地面真实数据的情况下实现高质量的3D点云补全？
• RQ2 级联精炼网络在从不完整点云中生成详细几何结构方面的有效性如何？
• RQ3 仅在部分输入上进行对抗性训练是否能提升完成3D形状的真实感和保真度？
• RQ4 在无监督和有监督设置下，该方法与监督SOTA方法相比表现如何？
• RQ5 在部分输入中引入局部细节在多大程度上提升了补全质量？

主要发现

• 与现有SOTA方法相比，该方法在3D点云补全的定量和定性评估中均表现出更优性能。
• 即使在训练过程中无法访问完全完整的地面真实数据，该模型生成的3D形状也比基线方法更真实、更细节丰富。
• 自监督训练策略能够仅使用部分输入数据实现有效优化，使该方法在实际应用中更具可行性。
• 级联精炼机制成功捕捉并增强了多阶段中的细粒度几何细节。
• 该方法表现出强大的泛化能力，在无监督和有监督实验设置中均表现良好。
• 对抗性训练显著提升了生成点云细节的真实感，经定性分析得到验证。