[论文解读] Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence

Yu Deng, Jiaolong Yang+1 more|arXiv (Cornell University)|Nov 27, 2020

3D Shape Modeling and Analysis参考文献 73被引用 6

一句话总结

本文提出Deformed Implicit Field（DIF），一种神经3D形状表征方法，联合学习共享模板隐式场、实例特定形变场以及校正场，用于类别级形状建模。DIF-Net通过法线一致性与平滑性损失在无监督设置下端到端训练，实现了对椅子和汽车等结构多变复杂形状的高保真度形状生成与密集对应关系，支持优异的纹理迁移与稀疏点编辑。

ABSTRACT

We propose a novel Deformed Implicit Field (DIF) representation for modeling 3D shapes of a category and generating dense correspondences among shapes. With DIF, a 3D shape is represented by a template implicit field shared across the category, together with a 3D deformation field and a correction field dedicated for each shape instance. Shape correspondences can be easily established using their deformation fields. Our neural network, dubbed DIF-Net, jointly learns a shape latent space and these fields for 3D objects belonging to a category without using any correspondence or part label. The learned DIF-Net can also provides reliable correspondence uncertainty measurement reflecting shape structure discrepancy. Experiments show that DIF-Net not only produces high-fidelity 3D shapes but also builds high-quality dense correspondences across different shapes. We also demonstrate several applications such as texture transfer and shape editing, where our method achieves compelling results that cannot be achieved by previous methods.

研究动机与目标

• 解决在几何与结构差异显著的对象类别（如椅子和汽车）中学习密集3D形状对应关系的挑战。
• 克服现有方法依赖预对齐拓扑结构或需要对应关系标注监督的局限性。
• 开发一种统一的隐式场表征，支持高保真度形状生成与可靠密集对应学习，无需部件标签或对应关系标注。
• 支持下游应用，如利用学习到的对应关系与潜在空间实现纹理迁移与形状编辑。

提出的方法

• 将每个3D形状表示为共享模板隐式场的形变与校正版本，其中形变场与校正场按实例学习。
• 训练一个神经网络DIF-Net，仅以原始3D形状为输入，联合预测模板场、形变场与校正场。
• 通过最小化不同形状间对应点法线之间的夹角差异，施加对应一致性，使用法线一致性损失。
• 通过在形变场施加空间平滑性正则化，提升泛化能力与平滑性。
• 限制校正场的幅值，确保其仅处理结构差异，而非全局形状形变。
• 使用包含法线一致性、形变平滑性与校正最小化的多分量损失函数，实现网络的无监督训练。

实验结果

研究问题

• RQ1 深度神经网络能否在无任何监督的情况下，学习到具有显著结构与几何差异的物体类别中密集的3D形状对应关系？
• RQ2 如何将隐式场表征扩展至统一框架，同时支持形状生成与密集对应学习？
• RQ3 对应点之间的法线一致性能否作为3D形状建模中无监督对应学习的强代理信号？
• RQ4 在形状间存在结构差异的情况下，可学习的校正场在多大程度上提升了对应关系的准确性？
• RQ5 学习到的潜在空间与对应关系能否实现高质量的纹理迁移与基于稀疏控制点的直观形状编辑？

主要发现

• DIF-Net在ShapeNet类别（如椅子与汽车）上的密集对应学习中达到最先进性能，标签迁移的平均IoU达0.78，显著优于AtlasNet、DualSDF与SIF。
• 该方法生成的3D形状保真度高，伪影极少，定性结果表明其能准确重建复杂几何结构。
• DIF-Net生成的对应关系不确定性图能可靠反映结构差异，蓝色区域（低不确定性）与红色区域（高不确定性）与感知上有意义的形状差异一致。
• 纹理迁移结果表明，DIF-Net能保留丰富的纹理图案，并将其准确传递至语义正确的区域，优于基线方法（包括AtlasNet-v2与ShapeFlow）。
• 通过公式(18)实现的形状编辑支持仅使用一个或少数几个控制点的直观操作，包括在模板空间中通过操控点添加新结构。
• 消融实验表明，若移除法线一致性损失、形变平滑性损失或校正场，对应关系质量与形状表征性能均出现显著下降。