[论文解读] Style-based Point Generator with Adversarial Rendering for Point Cloud Completion

Chulin Xie, Chuxin Wang+4 more|arXiv (Cornell University)|Mar 3, 2021

3D Shape Modeling and Analysis参考文献 41被引用 6

一句话总结

本文提出SpareNet，一种新颖的点云补全框架，通过引入通道注意力EdgeConv以增强特征表示，采用基于风格的折叠机制以提升形状生成质量，并利用可微深度图投影实现对抗性点云渲染，从而提升感知真实感。该方法在ShapeNet和KITTI数据集上达到SOTA性能，在定量指标与视觉质量方面均优于先前方法。

ABSTRACT

In this paper, we proposed a novel Style-based Point Generator with Adversarial Rendering (SpareNet) for point cloud completion. Firstly, we present the channel-attentive EdgeConv to fully exploit the local structures as well as the global shape in point features. Secondly, we observe that the concatenation manner used by vanilla foldings limits its potential of generating a complex and faithful shape. Enlightened by the success of StyleGAN, we regard the shape feature as style code that modulates the normalization layers during the folding, which considerably enhances its capability. Thirdly, we realize that existing point supervisions, e.g., Chamfer Distance or Earth Mover's Distance, cannot faithfully reflect the perceptual quality of the reconstructed points. To address this, we propose to project the completed points to depth maps with a differentiable renderer and apply adversarial training to advocate the perceptual realism under different viewpoints. Comprehensive experiments on ShapeNet and KITTI prove the effectiveness of our method, which achieves state-of-the-art quantitative performance while offering superior visual quality.

研究动机与目标

• 为解决现有点云补全方法在从部分输入中保持细粒度结构与整体形状方面的局限性。
• 克服原始折叠模块因特征拼接导致的建模能力受限问题。
• 通过在渲染深度图上使用对抗性训练替代标准重建损失，提升感知质量。
• 实现端到端学习，融合局部几何与全局上下文，以实现更精确且逼真的补全。

提出的方法

• 提出通道注意力EdgeConv，聚合局部k近邻特征，并利用全局上下文加权通道注意力，以增强特征表示。
• 提出基于风格的折叠机制，其中学习到的形状特征调制折叠MLP中的归一化层，替代标准拼接操作，以提升结构细节建模能力。
• 采用可微渲染器，将生成的点云从多个视角投影为深度图，以实现感知监督。
• 利用判别器评估渲染深度图的真实性，实施对抗性训练，引导生成器输出更具视觉真实感的结果。
• 引入循环细化模块，通过多阶段迭代优化，逐步提升粗略输出的质量。
• 结合重建损失（Chamfer Distance，Earth Mover’s Distance）与对抗性损失，以平衡保真度与感知质量。

实验结果

研究问题

• RQ1 通道注意力特征学习是否能提升点云补全中局部与全局结构的表征能力？
• RQ2 将折叠模块中标准特征拼接替换为基于风格的调制，是否能提升复杂且细节丰富的3D形状生成能力？
• RQ3 在可微深度图上进行对抗性训练，是否能超越标准重建损失，进一步提升补全点云的感知真实感？
• RQ4 通道注意力、基于风格的折叠与对抗性渲染等多组件的整合，如何影响整体补全质量？

主要发现

• 所提出的通道注意力EdgeConv显著提升特征表示能力，相比无注意力的基线模型，EMD相对降低12.5%，CD相对降低17.5%。
• 基于风格的折叠实现更快收敛与更优结构保真度，相比原始折叠方法，FPD提升15%，EMD降低10%。
• 在首次细化输出上采用$w_{adv} = 0.1$的对抗性渲染，达到最佳平衡，相比非对抗性训练，EMD降低10.2%，CD降低15.3%。
• 循环细化提升补全精度，完整模型经两次细化后，EMD为1.898，CD为0.535，优于单步细化（EMD为1.980，CD为0.593）。
• 消融实验表明，移除任一组件——通道注意力、基于风格的折叠或对抗性渲染——均导致所有指标上的一致性能下降。
• 该方法在ShapeNet与KITTI基准上均达到SOTA性能，兼具更优的视觉质量与定量结果，尤其在高分辨率点云（16,384个点）上表现突出。