[论文解读] ANISE: Assembly-based Neural Implicit Surface rEconstruction

Dmitry Petrov, Matheus Gadelha+2 more|arXiv (Cornell University)|May 27, 2022

Manufacturing Process and Optimization被引用 5

一句话总结

ANISE 提出了一种从粗到细、具备部件感知能力的神经隐式表面重建方法，首先预测部件的变换，然后解码特定部件的潜在代码，以从图像或稀疏点云重建3D形状。该方法在部件感知重建方面达到最先进性能，并可通过部件检索实现高质量、可控的形状组合，即使参考数据库规模比之前方法小一个数量级也能实现。

ABSTRACT

We present ANISE, a method that reconstructs a 3D~shape from partial observations (images or sparse point clouds) using a part-aware neural implicit shape representation. The shape is formulated as an assembly of neural implicit functions, each representing a different part instance. In contrast to previous approaches, the prediction of this representation proceeds in a coarse-to-fine manner. Our model first reconstructs a structural arrangement of the shape in the form of geometric transformations of its part instances. Conditioned on them, the model predicts part latent codes encoding their surface geometry. Reconstructions can be obtained in two ways: (i) by directly decoding the part latent codes to part implicit functions, then combining them into the final shape; or (ii) by using part latents to retrieve similar part instances in a part database and assembling them in a single shape. We demonstrate that, when performing reconstruction by decoding part representations into implicit functions, our method achieves state-of-the-art part-aware reconstruction results from both images and sparse point clouds.When reconstructing shapes by assembling parts retrieved from a dataset, our approach significantly outperforms traditional shape retrieval methods even when significantly restricting the database size. We present our results in well-known sparse point cloud reconstruction and single-view reconstruction benchmarks.

研究动机与目标

• 解决神经隐式方法在建模具有合理部件排列的组合式3D形状以及可控性方面的局限性。
• 实现在图像或稀疏点云等部分观测条件下的精确、部件感知的3D重建。
• 解耦形状结构与几何预测，以提升重建质量和泛化能力。
• 通过从数据库中检索真实部件，实现可控的形状编辑与重建。
• 在保持或提升重建质量的同时，减少基于检索的重建对参考数据库规模的需求。

提出的方法

• ANISE 采用两阶段架构：首先预测每个部件的几何变换（位置与尺度），然后预测编码表面几何的部件特定潜在代码。
• 模型将部件几何预测条件化于预测的变换，从而实现结构化、一致的形状组合。
• 最终形状通过以下两种方式重建：一是将部件潜在代码解码为神经隐式函数并组合；二是从参考数据库中检索并组装相似部件。
• 网络通过完整形状的SDF监督进行端到端训练，支持微调以提升几何精度。
• 评估中的部件匹配采用匈牙利算法，基于采样为1,000个点的部件点云计算Chamfer距离。
• 该方法不假设部件数量固定，且对部件顺序不变，与序列化方法不同。

实验结果

研究问题

• RQ1 一个从粗到细、具备部件感知能力的神经隐式模型是否能在3D重建中优于无部件感知和序列化组装方法？
• RQ2 将几何预测条件化于预测的部件变换是否能提升重建质量与结构一致性？
• RQ3 基于部件级别的匹配进行检索的重建是否能优于基于完整形状的检索，尤其是在数据库规模较小的情况下？
• RQ4 结构与几何学习的解耦对泛化能力以及对部分观测的鲁棒性有何影响？
• RQ5 ANISE 在未见形状上的泛化能力如何？能否有效处理预处理引入的伪影？

主要发现

• 在单视图重建中，ANISE 相较 PQ-Net 的 F-Score 提升 16.8%，证明其具备更优的部件感知重建质量。
• 在通过部件解码进行重建时，ANISE 在椅子和桌子上的Chamfer Distance（CD）达到最先进水平，表面重建质量优于StructureNet。
• 在基于检索的重建中，ANISE 使用的数据库规模比之前方法小一个数量级，但性能相当或更优。
• 消融实验表明，将几何预测条件化于变换可显著提升性能，优于无条件预测。
• 通过SDF监督进行微调能显著改善形状比例与几何细节，尤其对小部件效果明显；而从零开始训练的模型则坍塌为单部件输出。
• 定性结果表明，ANISE 对预处理伪影具有良好的泛化能力，在输入存在噪声或不完美时仍能保持合理的形状结构。