[论文解读] Deep Structured Implicit Functions

Kyle Genova, Forrester Cole+3 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 25被引用 30

一句话总结

该论文提出了局部深度隐式函数（LDIF），一种将空间分解为学习得到的隐式函数的3D形状表征方法，实现了精确、高效且一致的表面重建。LDIF在参数量不足状态SOTA方法1%的情况下，F-Score相比OccNet提升了10.3分，并在深度图像补全和零样本泛化方面分别提升了15.8分和17.8分。

ABSTRACT

The goal of this project is to learn a 3D shape representation that enables accurate surface reconstruction, compact storage, efficient computation, consistency for similar shapes, generalization across diverse shape categories, and inference from depth camera observations. Towards this end, we introduce Local Deep Implicit Functions (LDIF), a 3D shape representation that decomposes space into a structured set of learned implicit functions. We provide networks that infer the space decomposition and local deep implicit functions from a 3D mesh or posed depth image. During experiments, we find that it provides 10.3 points higher surface reconstruction accuracy (F-Score) than the state-of-the-art (OccNet), while requiring fewer than 1 percent of the network parameters. Experiments on posed depth image completion and generalization to unseen classes show 15.8 and 17.8 point improvements over the state-of-the-art, while producing a structured 3D representation for each input with consistency across diverse shape collections.

研究动机与目标

• 学习一种3D形状表征，以实现从深度图像或网格中进行精确的表面重建。
• 在保持相似形状间一致性的前提下，实现紧凑存储与高效计算。
• 在推理过程中对未见形状类别实现有效的泛化。
• 从单视角深度观测中实现结构化、可分解的3D表征。
• 在重建精度、参数效率和零样本泛化方面超越最先进方法。

提出的方法

• LDIF将3D空间分解为一组结构化的局部隐式函数，每个函数定义在空间划分区域内。
• 一个神经网络从3D网格或带姿态的深度图像中推断空间划分方式以及局部隐式函数的参数。
• 每个局部隐式函数在其局部区域内预测到表面的有符号距离值。
• 该方法采用可微的空间划分机制，以确保结构一致性和空间一致性。
• 网络架构端到端训练，以优化表面重建和泛化性能。
• 通过利用局部化、参数化的隐式函数，该表征支持高效推理与紧凑存储。

实验结果

研究问题

• RQ1 与全局隐式函数相比，将空间结构化分解为局部隐式函数是否能提升3D形状重建的准确性？
• RQ2 这种表征在保持高保真度的前提下，能否被高效地学习和存储？
• RQ3 在有限训练数据下，LDIF对未见形状类别的泛化能力有多强？
• RQ4 LDIF能否从单视角深度图像中实现高一致性与高精度的完整形状重建？
• RQ5 与OccNet等最先进方法相比，LDIF在性能和参数效率方面表现如何？

主要发现

• LDIF在表面重建任务中相比OccNet实现了10.3分的F-Score提升，证明了其优越的准确性。
• 该方法所用参数少于OccNet的1%，表明其具有极高的参数效率。
• LDIF在深度图像补全任务上的性能相比最先进方法提升了15.8分。
• 在未见形状类别上的零样本泛化能力提升了17.8分。
• 学习到的表征在多样化形状集合中保持结构化与一致性，从而支持从深度观测中实现可靠推理。
• LDIF在实现紧凑、高效且可泛化的3D形状表征的同时，维持了高质量的重建效果。