[论文解读] Better Patch Stitching for Parametric Surface Reconstruction

Zhantao Deng, Jan Bednařík+2 more|arXiv (Cornell University)|Oct 14, 2020

3D Shape Modeling and Analysis参考文献 39被引用 7

一句话总结

本文提出了一种基于损失的新方法，通过分块映射提升参数化曲面重建中的全局一致性。通过引入法向一致性损失和拼接误差最小化损失，有效减少了孔洞和锯齿状表面等视觉伪影，同时在法向估计精度方面达到最先进水平，并显著提升了相比以往方法的视觉质量。

ABSTRACT

Recently, parametric mappings have emerged as highly effective surface representations, yielding low reconstruction error. In particular, the latest works represent the target shape as an atlas of multiple mappings, which can closely encode object parts. Atlas representations, however, suffer from one major drawback: The individual mappings are not guaranteed to be consistent, which results in holes in the reconstructed shape or in jagged surface areas. We introduce an approach that explicitly encourages global consistency of the local mappings. To this end, we introduce two novel loss terms. The first term exploits the surface normals and requires that they remain locally consistent when estimated within and across the individual mappings. The second term further encourages better spatial configuration of the mappings by minimizing novel stitching error. We show on standard benchmarks that the use of normal consistency requirement outperforms the baselines quantitatively while enforcing better stitching leads to much better visual quality of the reconstructed objects as compared to the state-of-the-art.

研究动机与目标

• 解决分块参数化曲面重建中尽管定量性能强劲但仍存在的视觉伪影（如孔洞和锯齿状表面）问题。
• 通过在训练过程中显式建模块间依赖关系，提升曲面在全局范围内的连贯性。
• 在不牺牲定量重建精度（尤其是法向估计）的前提下，提升视觉质量。
• 使重建曲面在渲染和动画等下游应用中实现无缝使用。
• 提出一种即插即用的损失框架，可与现有基于分块的曲面模型兼容。

提出的方法

• 引入法向一致性损失，通过对齐块内与块间估计的表面法向，强制实现 $C^1$ 光滑性。
• 提出一种新颖的拼接误差损失，通过最小化相邻块之间的空间错位，减少重叠、交叉和孔洞。
• 将两种损失项整合进现有基于分块模型（如 DSP）的训练目标中，无需修改网络架构。
• 利用可微神经网络优化块映射，同时保持低畸变和高曲面拟合精度。
• 在标准基准（ShapeNet）上进行训练，以 Chamfer Distance 和法向角度误差为主要指标。
• 将该方法应用于 PCAE 和 SVR 任务，综合评估定量与定性性能。

实验结果

研究问题

• RQ1 在曲面法向上显式建模块间一致性，是否能提升重建3D曲面的视觉质量？
• RQ2 最小化一种新型拼接误差损失，是否能减少分块重建中的视觉伪影（如孔洞和重叠）？
• RQ3 在不降低 Chamfer Distance 或法向角度误差等定量指标的前提下，视觉质量可提升到何种程度？
• RQ4 所提出的损失是否能有效集成到现有的最先进基于分块的曲面模型中？
• RQ5 在参数化曲面重建中，是否存在定量精度与视觉保真度之间的权衡？该权衡能否被缓解？

主要发现

• 法向一致性损失显著提升了法向估计精度，在所有 ShapeNet 类别中均实现了角度误差的最先进水平。
• 在 SVR 任务中，法向一致性损失将平均角度误差从 DSP 的 38.85 降低至 OURS_st^8 的 24.75，表明性能显著提升。
• 仅使用拼接损失时，平面类别上的拼接度量 $m_S$ 从 DSP 的 1.79 降低至 OURS_st^4 的 0.539，表明块对齐效果更优。
• 定性结果表明视觉质量显著改善：颜色渗色（表示块重合）更频繁且更一致，从而减少了可见接缝与孔洞。
• 两种损失联合使用（$\text{OURS}_{\text{st}}$）实现了最佳视觉质量，表面更平滑，伪影更少，即使在 CD 等定量指标略有上升的情况下依然成立。
• 该方法具有普适性，可无须修改网络架构地集成到任意基于分块的曲面模型中，如在 SotA 框架 DSP 中的部署所证实。