[论文解读] PU-GAN: a Point Cloud Upsampling Adversarial Network

Ruihui Li, Xianzhi Li+3 more|arXiv (Cornell University)|Jul 25, 2019

3D Shape Modeling and Analysis参考文献 45被引用 12

一句话总结

PU-GAN 提出了一种基于 GAN 的点云上采样网络，通过对抗性训练学习丰富且均匀的分布，从而增强稀疏且非均匀的点云。它引入了一种带有误差反馈的上下文-上采样-上下文特征扩展单元以及自注意力机制，在合成数据和真实扫描数据上均实现了分布均匀性、表面接近度和三维重建质量的最先进性能。

ABSTRACT

Point clouds acquired from range scans are often sparse, noisy, and non-uniform. This paper presents a new point cloud upsampling network called PU-GAN, which is formulated based on a generative adversarial network (GAN), to learn a rich variety of point distributions from the latent space and upsample points over patches on object surfaces. To realize a working GAN network, we construct an up-down-up expansion unit in the generator for upsampling point features with error feedback and self-correction, and formulate a self-attention unit to enhance the feature integration. Further, we design a compound loss with adversarial, uniform and reconstruction terms, to encourage the discriminator to learn more latent patterns and enhance the output point distribution uniformity. Qualitative and quantitative evaluations demonstrate the quality of our results over the state-of-the-arts in terms of distribution uniformity, proximity-to-surface, and 3D reconstruction quality.

研究动机与目标

• 解决从 3D 扫描中获取稀疏、噪声大且非均匀点云的上采样挑战。
• 使生成器能够从潜在空间学习多样化且逼真的点云分布。
• 通过结合上采样、数据补全和均匀性增强，提升点云质量。
• 设计一种稳定的 GAN 框架用于点云生成，避免常见的训练失败问题。
• 在分布均匀性、表面接近度和三维重建保真度方面超越现有方法。

提出的方法

• 生成器采用上下文-上采样-上下文扩展单元，通过误差反馈和自我校正机制增强特征扩展，提升点云生成质量。
• 集成自注意力模块以增强局部区域中点之间特征的融合。
• 采用复合损失函数，结合对抗性损失、均匀性损失和重建损失，指导端到端训练。
• 判别器通过区分真实点集与生成点集，隐式惩罚不真实或非均匀的输出。
• 网络在局部表面块上进行训练，实现具有全局一致性的局部化上采样。
• 推理阶段使用最远点采样，以确保输出点云分布均匀。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否有效从稀疏且非均匀的输入中学习生成分布均匀、高质量的点云？
• RQ2 上下文-上采样-上下文扩展单元在点云上采样中如何提升特征表示与自我校正能力？
• RQ3 自注意力机制在多大程度上增强了特征融合与输出质量？
• RQ4 结合对抗性损失、均匀性损失和重建损失的复合损失函数是否带来更好的泛化性与训练稳定性？
• RQ5 PU-GAN 在真实扫描的 LiDAR 数据上相较于最先进方法表现如何？

主要发现

• PU-GAN 在多个基准测试中均实现了分布均匀性、表面接近度和三维重建质量的最佳性能。
• 消融实验表明，若移除 GAN 框架，性能下降最大，证明其在提升输出质量方面具有关键作用。
• 即使输入稀疏至仅 512 个点，或含高达 1% 高斯噪声，该方法仍保持高度稳定与鲁棒。
• 在物体分类任务中，使用 PU-GAN 对稀疏点云进行上采样，使 ModelNet40 上的分类准确率从 82.4% 提升至 83.8%。
• 视觉对比显示，PU-GAN 能有效填充小孔洞并提升均匀性，优于 PU-Net、MPU 和基础 GAN 基线模型。
• 由于采用分块处理，网络在处理大范围空隙时存在局限，表明未来工作需引入多尺度或全局建模机制。