[论文解读] Neural Cages for Detail-Preserving 3D Deformations

Yifan Wang, Noam Aigerman+3 more|arXiv (Cornell University)|Dec 13, 2019

3D Shape Modeling and Analysis参考文献 34被引用 4

一句话总结

该论文提出了一种可学习的基于神经笼的形变框架，能够在变形3D形状以匹配目标结构的同时保留精细的几何细节。通过将可微分的基于笼的形变层集成到深度网络中，该方法实现了在未配对3D数据上的端到端训练，在无需密集对应关系或标注笼结构的情况下，实现了形状变化和形变迁移中的最先进细节保留效果。

ABSTRACT

We propose a novel learnable representation for detail-preserving shape deformation. The goal of our method is to warp a source shape to match the general structure of a target shape, while preserving the surface details of the source. Our method extends a traditional cage-based deformation technique, where the source shape is enclosed by a coarse control mesh termed \emph{cage}, and translations prescribed on the cage vertices are interpolated to any point on the source mesh via special weight functions. The use of this sparse cage scaffolding enables preserving surface details regardless of the shape's intricacy and topology. Our key contribution is a novel neural network architecture for predicting deformations by controlling the cage. We incorporate a differentiable cage-based deformation module in our architecture, and train our network end-to-end. Our method can be trained with common collections of 3D models in an unsupervised fashion, without any cage-specific annotations. We demonstrate the utility of our method for synthesizing shape variations and deformation transfer.

研究动机与目标

• 为解决在形变3D形状时，尤其是在目标形状具有不同拓扑或结构的情况下，保留精细几何细节的挑战。
• 克服基于神经网络的形变方法因对局部几何建模不足而导致高频特征失真或损坏的局限性。
• 通过在未配对的3D形状集合上实现无监督、端到端训练，消除对密集对应关系或人工标注的依赖。
• 提供一个低维、特征保留的形变空间，使其能泛化到未见过的形状和拓扑结构。
• 支持实际应用，如形状变化合成以及仅使用稀疏对应关系或中性姿态，将形变应用于新颖且不相似的目标形状。

提出的方法

• 提出一种可微分的基于笼的形变层，通过一种新颖的可微分插值方案计算顶点权重，实现形变过程中的反向传播。
• 设计一种神经网络架构，联合预测笼结构（通过可学习的笼预测网络）和笼顶点位移，以匹配目标形状。
• 采用多组件损失函数，包括形状保持损失（Lshape），其包含点到面距离（Lp2f）、法向一致性（Lnormal）和对称性（Lsymm）项，以及形变一致性损失（LMVC），以确保形变的平滑与一致。
• 在未配对的3D形状集合中，通过从数据集中随机配对源形状和目标形状，无监督地端到端训练整个流程，无需密集对应关系或笼结构标注。
• 以模板笼（一个42个顶点的球体）作为笼预测网络的输入，该模板按每个源形状进行优化，生成紧密包裹源形状的形状自适应笼。
• 应用可微分的拉普拉斯正则化（Llap）以减少形变畸变，尽管主要的形状保持效果仍通过Lp2f和Lnormal实现。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习同时预测笼结构和形变参数，以实现高保真度、细节保留的3D形状形变？
• RQ2 可微分的基于笼的形变层在多大程度上能够实现无需密集对应关系或人工标注的端到端训练？
• RQ3 与现有神经形变网络相比，该方法在保留精细几何细节和最小化畸变方面表现如何？
• RQ4 当仅提供少量稀疏对应关系时，该方法在泛化到未见过的源形状以及具有不同拓扑或噪声水平的目标形状方面表现如何？
• RQ5 不同损失组件（如Lp2f、Lnormal、LMVC）对形变质量与细节保留的影响如何？

主要发现

• 该方法在ShapeNet数据集上实现了1.44（×10²）的Chamfer距离，显著优于基线方法，在对齐精度方面表现更优，同时保留了精细细节。
• 消融研究显示，形状保持损失中使用Lp2f和Lnormal可减少畸变并改善对齐效果，尽管Llap在先前工作中已被使用，但Lp2f表现更优。
• 学习源形状特异性笼的笼预测网络（Nc）表现最佳（CD: 3.06 ×10²，余切拉普拉斯：10.45 ×10³），优于固定球形笼和为所有训练形状优化单一笼的方案。
• 该方法成功地仅通过源与目标之间少量稀疏对应关系，将形变迁移至新型人形角色（如SCAPES、X-Bot），展示了强大的泛化能力。
• LMVC损失有效控制了形变的保守性：当其权重从1增加到10时，Chamfer距离从1.44上升至2.65，但畸变减少，表明对齐与平滑性之间存在权衡。
• 与先前的神经形变方法相比，该方法能更好地保留显著几何特征，如锐边和细长结构，这通过定性对比和较低的余切拉普拉斯值得到验证。