[论文解读] Local Deep Implicit Functions for 3D Shape

Kyle Genova, Forrester Cole+3 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 37被引用 5

一句话总结

本文提出局部深度隐式函数（LDIF），一种通过基于SIF的空间分解与深度神经网络预测细微几何细节，将形状分解为结构化局部隐式函数的3D形状表征方法。LDIF在形状重建任务中F-Score比OccNet高出10.3分，参数量不足1%，同时在深度图像补全和未见类别泛化方面表现更优。

ABSTRACT

The goal of this project is to learn a 3D shape representation that enables accurate surface reconstruction, compact storage, efficient computation, consistency for similar shapes, generalization across diverse shape categories, and inference from depth camera observations. Towards this end, we introduce Local Deep Implicit Functions (LDIF), a 3D shape representation that decomposes space into a structured set of learned implicit functions. We provide networks that infer the space decomposition and local deep implicit functions from a 3D mesh or posed depth image. During experiments, we find that it provides 10.3 points higher surface reconstruction accuracy (F-Score) than the state-of-the-art (OccNet), while requiring fewer than 1 percent of the network parameters. Experiments on posed depth image completion and generalization to unseen classes show 15.8 and 17.8 point improvements over the state-of-the-art, while producing a structured 3D representation for each input with consistency across diverse shape collections.

研究动机与目标

• 开发一种3D形状表征方法，实现精确的表面重建、紧凑的存储、高效的计算，并在多样化形状类别间实现良好的泛化能力。
• 解决单一潜在向量深度隐式函数在复杂性、效率和泛化能力方面的局限性。
• 结合SIF的结构一致性与深度神经网络的表达能力，以捕捉局部形状的细节。
• 支持从3D网格或带姿态的深度图像端到端学习，适用于自编码、深度补全和部分表面重建。
• 在保持性能的同时降低模型复杂度，提升在多个3D视觉任务中的表现。

提出的方法

• LDIF将3D形状表示为多个局部隐式函数的和，每个函数定义在一个来自SIF分解的高斯形空间区域内。
• 每个局部区域关联一个由小型深度神经网络解码的潜在向量，该网络在高斯区域上预测残差函数，以捕捉精细几何细节。
• 采用基于PointNet的编码器处理每个局部区域内的3D点，生成局部化潜在码，提升特征表示能力与泛化性能。
• 使用共享的SIF模板确保在多样化形状间保持一致的空间分解，实现零样本泛化。
• 框架通过统一架构联合优化形状重建、深度图像补全和部分表面恢复任务。
• 改进包括引入旋转自由度、对称性约束，以及简化DIF结构（减少层数与潜在码尺寸）。

实验结果

研究问题

• RQ1 将空间结构化分解为局部区域，是否能提升深度隐式函数在3D形状表征中的表达能力与效率？
• RQ2 使用深度神经网络在高斯区域上预测局部残差，是否能比全局隐式函数带来更优的表面重建效果？
• RQ3 LDIF框架是否能在无需微调或领域特定模板的情况下泛化到未见形状类别？
• RQ4 与直接预测潜在向量相比，通过PointNet进行局部编码在重建精度与泛化能力方面表现如何？
• RQ5 引入显式结构先验（如对称性、旋转）在多大程度上能提升性能并减少参数量？

主要发现

• 在训练类别形状的3D自编码任务中，LDIF的F-Score比OccNet高出10.3分，网络参数量不足1%。
• 在未见形状类别的泛化任务中，LDIF的F-Score比当前最先进方法高出17.8分。
• 在深度图像补全任务中，LDIF的F-Score相比OccNet提升15.8分。
• 禁用局部PointNet编码器后，F-Score下降11.4分，证明其在性能与泛化中起关键作用。
• 使用XYZ图像作为输入而非深度图像，可在所有任务中显著提升结果鲁棒性。
• 引入部分对称性约束可改善定性结果，并在不损失精度的前提下减少自由度。