[论文解读] Surface Reconstruction from Point Clouds by Learning Predictive Context Priors

Baorui Ma, Yu-Shen Liu+2 more|arXiv (Cornell University)|Apr 23, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出预测上下文先验（Predictive Context Priors）用于从点云进行表面重建，通过在推理过程中学习自适应查询位移，实现对预训练局部上下文先验的灵活搜索，从而提升泛化能力和重建精度。该方法在无需真实有符号距离或后处理的情况下达到最先进性能。

ABSTRACT

Surface reconstruction from point clouds is vital for 3D computer vision. State-of-the-art methods leverage large datasets to first learn local context priors that are represented as neural network-based signed distance functions (SDFs) with some parameters encoding the local contexts. To reconstruct a surface at a specific query location at inference time, these methods then match the local reconstruction target by searching for the best match in the local prior space (by optimizing the parameters encoding the local context) at the given query location. However, this requires the local context prior to generalize to a wide variety of unseen target regions, which is hard to achieve. To resolve this issue, we introduce Predictive Context Priors by learning Predictive Queries for each specific point cloud at inference time. Specifically, we first train a local context prior using a large point cloud dataset similar to previous techniques. For surface reconstruction at inference time, however, we specialize the local context prior into our Predictive Context Prior by learning Predictive Queries, which predict adjusted spatial query locations as displacements of the original locations. This leads to a global SDF that fits the specific point cloud the best. Intuitively, the query prediction enables us to flexibly search the learned local context prior over the entire prior space, rather than being restricted to the fixed query locations, and this improves the generalizability. Our method does not require ground truth signed distances, normals, or any additional procedure of signed distance fusion across overlapping regions. Our experimental results in surface reconstruction for single shapes or complex scenes show significant improvements over the state-of-the-art under widely used benchmarks.

研究动机与目标

• 解决现有方法依赖固定查询位置匹配局部上下文先验的局限性，该局限性限制了其在未见区域的泛化能力。
• 通过在推理时将预训练的局部上下文先验特化为预测上下文先验，提升重建精度。
• 消除对真实有符号距离、法线或重叠区域有符号距离融合的依赖。
• 通过学习的预测查询实现对先验空间的灵活全局搜索，以调整空间查询位置。

提出的方法

• 使用神经网络从大规模点云数据集学习预训练的局部上下文先验，以表示局部有符号距离函数（SDFs）。
• 在推理阶段，神经查询网络学习预测查询（Predictive Queries），以预测相对于原始全局坐标的位移，从而调整空间查询位置。
• 预测查询使查询在先验空间内实现动态重定位，从而更好地匹配未见的局部几何结构。
• 该方法联合优化神经隐式网络参数和查询网络参数，以最小化目标点云的表面重建误差。
• 该方法仅使用输入点云进行重建，无需真实SDF或法线监督。
• 通过在局部坐标系中进行中心化和缩放，对局部区域进行归一化，以提升先验学习的稳定性。

实验结果

研究问题

• RQ1 学习自适应查询位移是否能提升预训练局部上下文先验在表面重建中的泛化能力？
• RQ2 与固定查询匹配相比，预测查询学习在未见区域的重建精度表现如何？
• RQ3 该方法在多大程度上减少了对真实有符号距离或后处理步骤的依赖？
• RQ4 能够对整个先验空间进行搜索是否能带来优于固定位置匹配的重建效果？

主要发现

• 该方法在广泛使用的基准测试中达到最先进性能，在ABC数据集上的L2-CD为2.09 × 1000，显著优于先前方法。
• 消融实验表明，若移除特化步骤（无先验），性能急剧下降（L2-CD: 4.04 × 1000），证明预测查询学习的必要性。
• 联合调优隐式网络和查询网络参数的效果劣于使用特化的预测查询，表明特化过程至关重要。
• 通过中心化和缩放对局部区域进行归一化可提升性能，完整归一化方案取得最佳结果（Normal: 0.9446）。
• 最优局部区域大小为6³，过小或过大的区域均导致性能下降，8³区域的误差更高。
• 基于测地线距离的块状区域划分未能提升性能，优于基于部分的区域划分，证实当前区域划分策略的有效性。