[论文解读] ASFM-Net: Asymmetrical Siamese Feature Matching Network for Point Completion

Yaqi Xia, Yan Xia+4 more|arXiv (Cornell University)|Apr 19, 2021

3D Shape Modeling and Analysis参考文献 64被引用 8

一句话总结

ASFM-Net 提出了一种用于 3D 点云补全的非对称孪生特征匹配网络，通过孪生自编码器从完整点云中提取形状先验，以增强不完整输入的特征表示。该方法在 Completion3D 基准上取得最先进性能，以 12% 的优势领先于先前方法，并在新类别上展现出强大的鲁棒性与泛化能力。

ABSTRACT

We tackle the problem of object completion from point clouds and propose a novel point cloud completion network employing an Asymmetrical Siamese Feature Matching strategy, termed as ASFM-Net. Specifically, the Siamese auto-encoder neural network is adopted to map the partial and complete input point cloud into a shared latent space, which can capture detailed shape prior. Then we design an iterative refinement unit to generate complete shapes with fine-grained details by integrating prior information. Experiments are conducted on the PCN dataset and the Completion3D benchmark, demonstrating the state-of-the-art performance of the proposed ASFM-Net. Our method achieves the 1st place in the leaderboard of Completion3D and outperforms existing methods with a large margin, about 12%. The codes and trained models are released publicly at https://github.com/Yan-Xia/ASFM-Net.

研究动机与目标

• 为解决现有点云补全方法中不完整全局特征表示的局限性，通过引入完整形状的形状先验。
• 提升补全点云的重建保真度与细粒度几何细节。
• 在高遮挡（可见比例低）条件下提升鲁棒性，并增强对新物体类别的泛化能力。
• 构建一种从粗到精的框架，在保留输入细节的同时生成密集完整的输出。
• 在基准数据集上实现最先进性能，尤其在 Completion3D 上表现突出。

提出的方法

• 训练一个非对称孪生自编码器，将部分点云和完整点云映射到共享潜在空间，通过特征匹配对齐其全局特征。
• 孪生网络对部分点云和完整点云使用共享编码器，但为完整形状设计独立解码器，以学习形状先验。
• 采用特征匹配策略，强制完整点云与部分点云的全局特征保持一致，从而优化不完整特征表示。
• 引入迭代优化单元，从先验信息和输入特征中逐步重建高分辨率、细节丰富的点云。
• 该优化单元保留输入几何结构，并通过注意力机制与跳跃连接机制，迭代推断缺失部分。
• 采用重建损失与特征匹配损失的组合，端到端训练网络，以优化形状保真度。

实验结果

研究问题

• RQ1 来自完整点云的形状先验是否能改善 3D 补全中不完整输入的表征？
• RQ2 部分点云与完整点云之间的特征匹配如何提升重建质量？
• RQ3 迭代优化单元是否能有效从不完整输入中恢复细粒度几何细节？
• RQ4 该方法在高遮挡（低可见比例）条件下的鲁棒性如何？
• RQ5 模型在预训练中未见的新类别上的泛化能力如何？

主要发现

• ASFM-Net 在 Completion3D 基准上取得第一名，其性能在各项指标上领先于先前最先进方法超过 12%。
• 在 PCN 数据集上，ASFM-Net 在所有可见比例下均取得最低的 Chamfer Distance（CD-P），在 80% 可见度下 CD-P 达到 16.27×10⁻³。
• 该方法对高遮挡具有高度鲁棒性：即使在 20% 可见比例下，仍能重建出连贯的形状（如完整飞机），而 PCN 完全失效。
• 消融实验表明，迭代优化单元对性能的贡献大于孪生特征匹配模块。
• 在新类别上，尤其在视觉差异较大的类别（如手枪和滑板）上，ASFM-Net 显著优于先前方法，展现出强大的泛化能力。
• 非对称孪生自编码器在新类别上生成的粗略输出存在错误（如将床误认为椅子），但优化单元能有效纠正这些错误，证明其在细节恢复方面的有效性。