[论文解读] Snowflake Point Deconvolution for Point Cloud Completion and Generation with Skip-Transformer

Xiang Peng, Xin Wen+5 more|arXiv (Cornell University)|Feb 18, 2022

3D Shape Modeling and Analysis被引用 16

一句话总结

本文提出 SnowflakeNet，一种新颖的点云补全与生成框架，采用雪花点反卷积（SPD）技术，将点云生成建模为分层的、雪花状的生长过程。通过引入跳跃注意力模块以学习跨层级的空间关系，SPD 生成具有局部结构、高保真度的点云，在补全、上采样和生成任务中均达到最先进性能，且模型架构紧凑。

ABSTRACT

Most existing point cloud completion methods suffer from the discrete nature of point clouds and the unstructured prediction of points in local regions, which makes it difficult to reveal fine local geometric details. To resolve this issue, we propose SnowflakeNet with snowflake point deconvolution (SPD) to generate complete point clouds. SPD models the generation of point clouds as the snowflake-like growth of points, where child points are generated progressively by splitting their parent points after each SPD. Our insight into the detailed geometry is to introduce a skip-transformer in the SPD to learn the point splitting patterns that can best fit the local regions. The skip-transformer leverages attention mechanism to summarize the splitting patterns used in the previous SPD layer to produce the splitting in the current layer. The locally compact and structured point clouds generated by SPD precisely reveal the structural characteristics of the 3D shape in local patches, which enables us to predict highly detailed geometries. Moreover, since SPD is a general operation that is not limited to completion, we explore its applications in other generative tasks, including point cloud auto-encoding, generation, single image reconstruction, and upsampling. Our experimental results outperform state-of-the-art methods under widely used benchmarks.

研究动机与目标

• 为解决由于点云生成的离散性和非结构化特性，导致在不完整 3D 点云中难以保留细粒度几何细节的问题。
• 克服现有方法在多层解码过程中无法有效建模局部空间关系的局限性。
• 开发一种通用的点云生成操作（SPD），可超越补全任务，应用于上采样和单图像重建等任务。
• 以极小的模型规模实现高质量、结构化的点云生成，并在多样化的 3D 形状任务中具备强大的泛化能力。

提出的方法

• 雪花点反卷积（SPD）通过在多层中递归地将父点分裂，以分层的、雪花状的生长模式生成子点。
• 跳跃注意力模块利用自注意力机制聚合前序 SPD 层的空间模式，以指导当前层的点分裂，增强局部结构的学习能力。
• SPD 使用 k-近邻（k-NN）定义局部感受野，确保分裂过程中点云分布的局部化与紧凑性。
• 跳跃注意力模块学习解码阶段中跨层级点之间的空间关系，提升对锐利边缘和光滑表面的预测准确性。
• 网络采用端到端训练，使用 L2 切比雪夫距离（CD）损失，无需额外的正则化损失（如排斥力或均匀性损失）。
• SPD 以多种配置应用——补全、自编码、生成、重建与上采样，充分验证其通用性。

实验结果

研究问题

• RQ1 类似 SPD 的分层递归点云生成机制，能否有效恢复不完整 3D 点云中的细粒度几何细节？
• RQ2 如何建模点云解码过程中跨层级的点之间空间关系，以提升局部结构预测能力？
• RQ3 单一通用操作（如 SPD）能否在补全之外的多样化 3D 生成任务中有效应用？
• RQ4 与标准注意力机制或无注意力机制相比，跳跃注意力在多层解码中对点云质量的提升程度如何？
• RQ5 在多个基准测试中，与最先进方法相比，该模型在定量指标和视觉保真度方面表现如何？

主要发现

• SnowflakeNet 在 Completion3D 和 PCN 基准测试中均达到最先进性能，在 L2 切比雪夫距离（CD）和豪斯多夫距离（HD）指标上优于现有方法。
• 在最远点采样（FPS）设置下，该方法在所有对比方法中取得最佳 CD 与 HD 分数，包括使用排斥力或均匀性损失训练的方法。
• 即使未显式引入均匀性或排斥力损失，模型仍保持高点云均匀性与表面保真度，经视觉对比验证。
• 在点云上采样任务中表现优异，优于 PU-Net、PU-GAN 和 Dis-PU，在 CD 与 HD 指标上均领先，尤其在随机采样条件下优势显著。
• 模型参数量显著小于对比方法，展现出极高的效率与参数效率。
• 视觉结果表明，SnowflakeNet 最好地保留了复杂局部结构，如锐利边缘、角落与光滑曲面，与真实形状高度一致。