[论文解读] Energy-Based Residual Latent Transport for Unsupervised Point Cloud Completion

Ruikai Cui, Shi Qiu+3 more|arXiv (Cornell University)|Nov 13, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出了一种新型基于能量的残差潜在传输框架，用于无监督点云补全，通过在潜在空间中使用条件能量模型（EBM）实现生成建模与不确定性估计。通过引入残差采样策略，实现了EBM与编码器-解码器网络的端到端训练，取得了最先进性能，并生成了与人类感知一致的可解释不确定性图。

ABSTRACT

Unsupervised point cloud completion aims to infer the whole geometry of a partial object observation without requiring partial-complete correspondence. Differing from existing deterministic approaches, we advocate generative modeling based unsupervised point cloud completion to explore the missing correspondence. Specifically, we propose a novel framework that performs completion by transforming a partial shape encoding into a complete one using a latent transport module, and it is designed as a latent-space energy-based model (EBM) in an encoder-decoder architecture, aiming to learn a probability distribution conditioned on the partial shape encoding. To train the latent code transport module and the encoder-decoder network jointly, we introduce a residual sampling strategy, where the residual captures the domain gap between partial and complete shape latent spaces. As a generative model-based framework, our method can produce uncertainty maps consistent with human perception, leading to explainable unsupervised point cloud completion. We experimentally show that the proposed method produces high-fidelity completion results, outperforming state-of-the-art models by a significant margin.

研究动机与目标

• 为解决无监督点云补全中确定性一一映射的局限性，该方法无法捕捉形状补全固有的多对多特性。
• 通过学习给定部分形状编码下完整形状潜在编码的条件概率分布，实现在无监督补全中的生成建模。
• 开发一种潜在空间能量模型（EBM）与编码器-解码器网络的联合训练策略，克服MCMC采样过程不可微带来的挑战。
• 生成反映预测置信度并符合人类感知的不确定性图，实现可解释的补全过程。

提出的方法

• 该框架采用共享的编码器-解码器结构，将部分点云与完整点云映射至共享潜在空间，实现域间迁移。
• 在潜在空间中定义条件能量模型（EBM），以建模给定部分形状编码下完整形状编码的概率分布。
• 提出一种新颖的残差采样策略，即模型学习预测一个残差向量，将部分潜在编码传输至完整编码，而非直接采样完整编码。
• 利用该残差向量初始化Langevin动力学进行MCMC采样，实现通过采样过程的基于梯度的优化。
• 通过残差形式避免二阶梯度，使EBM能够与编码器-解码器网络通过反向传播实现联合训练。
• 应用对抗损失以正则化生成器，使其生成逼真的完整形状，防止模式崩溃并避免对输入部分形状的重建。

实验结果

研究问题

• RQ1 生成建模方法是否能通过捕捉形状补全的一对多特性，提升无监督点云补全性能？
• RQ2 尽管MCMC采样不可微，如何实现潜在空间能量模型与深度编码器-解码器网络的联合训练？
• RQ3 所提方法能否生成反映有意义预测置信度并符合人类感知的不确定性图？
• RQ4 残差采样策略是否能实现EBM在点云补全任务中的有效且稳定训练？

主要发现

• 所提方法在合成数据集（ShapeNet）和真实世界数据集（KITTI、ScanNet、MatterPort3D）上均达到最先进性能，超越现有无监督模型。
• 在3D-EPN数据集上，模型平均Chamfer Distance（CD）达到12.2 × 10⁻⁴，显著优于Cycle4Completion（14.5 × 10⁻⁴）与ShapeInversion（13.6 × 10⁻⁴）。
• 模型生成的不确定性图显示：在观测区域或对称区域不确定性较低，而在未观测或模糊区域（如飞机机翼、缺失的桌腿）不确定性较高。
• 消融实验表明，移除能量驱动的潜在传输模块会使平均CD增加1.4，而省略残差采样则显著损害性能，表明其在训练稳定性中的关键作用。
• 当移除对抗损失时，模型性能最差，证实其在防止模式崩溃及鼓励补全而非重建方面的重要性。
• 不确定性图与人类感知一致，对异常值和模糊几何结构分配更高不确定性，体现了模型的可解释性。