[论文解读] Arbitrary Point Cloud Upsampling with Spherical Mixture of Gaussians

Anthony Dell’Eva, Marco Orsingher+1 more|arXiv (Cornell University)|Aug 10, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出 APU-SMOG，一种基于 Transformer 的任意点云上采样方法，将稀疏输入映射到单位球面上的球面高斯混合模型（SMOG），从而在推理时可采样任意数量的点。该方法将网络架构与上采样比例解耦，仅通过在固定比例下训练单个模型，即可实现最先进性能，包括非整数缩放因子。

ABSTRACT

Generating dense point clouds from sparse raw data benefits downstream 3D understanding tasks, but existing models are limited to a fixed upsampling ratio or to a short range of integer values. In this paper, we present APU-SMOG, a Transformer-based model for Arbitrary Point cloud Upsampling (APU). The sparse input is firstly mapped to a Spherical Mixture of Gaussians (SMOG) distribution, from which an arbitrary number of points can be sampled. Then, these samples are fed as queries to the Transformer decoder, which maps them back to the target surface. Extensive qualitative and quantitative evaluations show that APU-SMOG outperforms state-of-the-art fixed-ratio methods, while effectively enabling upsampling with any scaling factor, including non-integer values, with a single trained model. The code is available at https://github.com/apusmog/apusmog/

研究动机与目标

• 解决现有点云上采样模型在每个固定上采样比例下均需重新训练的局限性。
• 通过单个训练模型实现任意上采样比例（包括非整数值）的上采样。
• 通过使用中间概率表示，将上采样过程与网络架构解耦。
• 通过可学习的球面分布与基于注意力的精炼，提升对稀疏和噪声输入的泛化能力与鲁棒性。
• 在多个基准测试中实现最先进性能，同时保持输出分辨率的灵活性。

提出的方法

• 将输入的稀疏点云编码为单位球面上的球面高斯混合模型（SMOG）分布，其中每个点关联一个混合权重和一个球坐标系下的二元高斯分布。
• 通过神经网络预测 SMOG 分布的参数（球坐标系下的均值与方差），实现对输入表面的局部自适应概率表示。
• 在推理时从学习到的 SMOG 分布中采样任意数量的点，实现对任意期望分辨率的灵活上采样。
• 将采样点作为查询输入 Transformer 解码器，将其映射回目标 3D 表面，从而将输出分辨率与模型架构解耦。
• 应用基于局部自注意力的残差精炼模块，以校正异常点并提升最终输出的几何保真度。
• 使用组合重建损失进行模型训练：点到面距离损失（P2F）、豪斯多夫距离损失（HD）和投影损失（Π），以使高斯均值与表面对齐。

实验结果

研究问题

• RQ1 单个神经网络模型是否能在不重新训练的情况下，对任意上采样比例（包括非整数值）实现点云上采样？
• RQ2 将球面高斯混合模型作为中间表示，是否相比固定采样策略能带来更好的泛化能力与灵活性？
• RQ3 基于 Transformer 的解码器结合基于注意力的精炼，在从学习分布的任意采样中重建高分辨率点云方面效果如何？
• RQ4 各损失组件（如投影损失、重建损失）对最终性能与鲁棒性的贡献如何？
• RQ5 该方法在稀疏输入与噪声点云上是否具有泛化能力，同时能保持精细几何细节？

主要发现

• APU-SMOG 在多个基准测试中达到最先进性能，在 PU1K 数据集上的 Chamfer 距离（CD）为 0.528×10⁻³，豪斯多夫距离（HD）为 2.549×10⁻³，P2F 为 1.667×10⁻³。
• 消融实验证实，SMOG 表示优于均匀采样（类似 FoldingNet）的方案，CD 为 0.558×10⁻³，表明自适应局部分布具有优势。
• 移除残差精炼模块后，HD 上升至 8.536×10⁻³，表明其能有效减少异常点并提升表面保真度。
• 投影损失（ℒΠ）在上采样任务中比 ACD 损失更有效，使用 ℒACD 时 P2F 得分为 2.694×10⁻³，而使用 ℒΠ 时为 1.667×10⁻³。
• 该模型在稀疏输入（低至 256 个点）和噪声数据上泛化良好，即使在添加高斯噪声（σ=0.02）下，仍能保持马腿和车窗等精细结构。
• 该方法成功实现对非整数比例（如 r=2.34，r=4.93）的上采样，仅使用在 r=4 下训练的单个模型，证明了真正的任意上采样能力。