[论文解读] Sign-Agnostic Implicit Learning of Surface Self-Similarities for Shape Modeling and Reconstruction from Raw Point Clouds

Wenbin Zhao, Jiabao Lei+3 more|arXiv (Cornell University)|Dec 14, 2020

3D Shape Modeling and Analysis参考文献 13被引用 5

一句话总结

该论文提出SAIL-S3，一种无需依赖表面法线或辅助训练数据的符号无关、局部隐式学习框架，通过利用局部表面块之间的自相似性，直接从原始、无方向的点云重建高保真度3D表面。该方法采用共享的局部隐式神经网络与相关潜在代码，并结合全局符号翻转优化，实现了无需表面法线或辅助训练数据的最先进重建质量。

ABSTRACT

Shape modeling and reconstruction from raw point clouds of objects stand as a fundamental challenge in vision and graphics research. Classical methods consider analytic shape priors; however, their performance degraded when the scanned points deviate from the ideal conditions of cleanness and completeness. Important progress has been recently made by data-driven approaches, which learn global and/or local models of implicit surface representations from auxiliary sets of training shapes. Motivated from a universal phenomenon that self-similar shape patterns of local surface patches repeat across the entire surface of an object, we aim to push forward the data-driven strategies and propose to learn a local implicit surface network for a shared, adaptive modeling of the entire surface for a direct surface reconstruction from raw point cloud; we also enhance the leveraging of surface self-similarities by improving correlations among the optimized latent codes of individual surface patches. Given that orientations of raw points could be unavailable or noisy, we extend sign agnostic learning into our local implicit model, which enables our recovery of signed implicit fields of local surfaces from the unsigned inputs. We term our framework as Sign-Agnostic Implicit Learning of Surface Self-Similarities (SAIL-S3). With a global post-optimization of local sign flipping, SAIL-S3 is able to directly model raw, un-oriented point clouds and reconstruct high-quality object surfaces. Experiments show its superiority over existing methods.

研究动机与目标

• 解决从原始、无方向点云重建精确3D表面的挑战，因为传统方法在存在噪声和缺失法线时会失效。
• 通过直接从输入数据学习先验知识而非依赖辅助训练形状，弥合数据驱动形状重建中的泛化差距。
• 利用物体内部局部表面块的普遍自相似性，提升局部建模与重建保真度。
• 开发一种符号无关的学习框架，从无符号输入中恢复有符号隐式场，从而增强对不可靠或缺失表面法线的鲁棒性。
• 通过全局后处理符号翻转优化实现高质量表面重建，确保拓扑一致性。

提出的方法

• 该方法将全局隐式表面划分为自适应、重叠的局部子场，每个子场由共享的局部隐式神经网络与可学习潜在代码建模。
• 通过对比学习目标强制相似局部块的潜在代码之间保持相关性，以促进对自相似结构的共享表征学习。
• 引入符号无关学习模块，从无符号点云输入中预测有符号隐式场，从而增强对噪声或缺失法线的鲁棒性。
• 该框架包含一个全局后处理优化步骤，联合翻转局部符号，实现一致且全局一致的表面重建。
• 局部隐式网络通过可微的隐式表面损失端到端训练，无需真实法线或预训练模型。
• 该架构设计为完全可微且可扩展，支持直接从原始点云优化，无需中间网格化或法线估计步骤。

实验结果

研究问题

• RQ1 能否有效利用自相似的局部表面模式，以提升从原始、无方向点云中重建3D形状的质量？
• RQ2 能否在不依赖表面法线的情况下，通过符号无关的隐式学习框架恢复精确的有符号表面场？
• RQ3 与全局或独立局部模型相比，采用相关潜在代码的局部隐式建模是否能在未见形状上实现更好的泛化能力？
• RQ4 消除对辅助训练数据的依赖是否能提升点云重建中的鲁棒性与泛化能力？
• RQ5 全局符号翻转后处理优化能否有效解决局部符号模糊性，从而生成完整、高保真度的表面？

主要发现

• SAIL-S3在ShapeNet椅子和ThreeDScans雕塑数据集上均达到最先进性能，ShapeNet上的Chamfer Distance（CD）为0.003，F-Score为0.884；ThreeDScans上的CD为0.003，F-Score为0.871。
• 在定量指标和定性重建质量上，SAIL-S3均优于SPSR、IGR、SAL、LIG、CON和P2S，尤其在保留细节和拓扑结构方面表现更优。
• SAIL-S3在噪声输入下保持高度鲁棒性，当点云中加入高斯噪声（σ=0.01）时性能下降极小，优于依赖法线估计的方法。
• 由于无需辅助数据和法线要求，SAIL-S3在未见形状及真实世界扫描中具有更强的泛化能力，尤其适用于数据不完善的场景。
• 相关潜在代码的使用显著提升了重建保真度，表现为相比独立潜在代码方法，其Normal Consistency（NC）和F-Score更高。
• 全局符号翻转后处理优化步骤成功解决了符号模糊性问题，实现了从无符号输入的一致表面重建。