[论文解读] DeformSyncNet: Deformation Transfer via Synchronized Shape Deformation Spaces

Minhyuk Sung, Zhenyu Jiang+3 more|arXiv (Cornell University)|Sep 3, 2020

3D Shape Modeling and Analysis参考文献 66被引用 4

一句话总结

DeformSyncNet 提出了一种神经网络框架，可在无需显式对应关系或部件级注释的情况下，实现形状类别内一致的形变迁移与投影。通过为所有形变学习一个共享的规范潜在空间，并为每个形状单独学习一个线性形变空间，该方法通过潜在空间编码实现形变同步，从而实现路径无关、合理的编辑效果，使形变能即时迁移至各类形状，同时保持对称性、部件连接性等结构特性。

ABSTRACT

Shape deformation is an important component in any geometry processing toolbox. The goal is to enable intuitive deformations of single or multiple shapes or to transfer example deformations to new shapes while preserving the plausibility of the deformed shape(s). Existing approaches assume access to point-level or part-level correspondence or establish them in a preprocessing phase, thus limiting the scope and generality of such approaches. We propose DeformSyncNet, a new approach that allows consistent and synchronized shape deformations without requiring explicit correspondence information. Technically, we achieve this by encoding deformations into a class-specific idealized latent space while decoding them into an individual, model-specific linear deformation action space, operating directly in 3D. The underlying encoding and decoding are performed by specialized (jointly trained) neural networks. By design, the inductive bias of our networks results in a deformation space with several desirable properties, such as path invariance across different deformation pathways, which are then also approximately preserved in real space. We qualitatively and quantitatively evaluate our framework against multiple alternative approaches and demonstrate improved performance.

研究动机与目标

• 在不依赖形状或其部件之间显式点对应或部件对应关系的情况下，实现在 3D 形状类别内的稳定、同步形变。
• 学习一个共享的规范潜在空间，以编码类别内所有形状之间可能的形变。
• 将每个独立形状映射到一个唯一的、形状特定的线性形变空间，该空间与规范空间保持同步。
• 在统一框架中支持形变投影（将编辑结果捕捉到合理的形变空间）和形变迁移（将编辑应用于类别内其他形状）。
• 在无对应关系监督的情况下，实现路径无关性与结构保持性（如对称性、部件连接性）。

提出的方法

• 该框架采用联合训练的编码器-解码器神经网络架构：形状特定的编码器将输入形状映射到规范潜在空间，而解码器将潜在向量映射回 3D 空间中的逐点形变偏移量。
• 规范潜在空间在类别内所有形状之间共享，编码所有可能的形变，从而确保形状间的同步性。
• 每个形状的独立形变空间通过形状特定的解码器学习，该解码器将潜在向量映射为 3D 点偏移量，从而实现形状感知的形变。
• 网络通过重建形状与真实形变形状之间的 Chamfer 距离进行训练，同时在损失函数中使用形变控制点的投影作为监督信号。
• 该架构通过设计强制引入路径无关性与结构一致性的归纳偏置，通过正则化确保潜在表示的唯一性与语义意义。
• 通过在潜在空间中建模圆形轨迹，探索了非线性形变的扩展，显著提升了对关节形形状的拟合精度。

实验结果

研究问题

• RQ1 是否可以在不依赖形状或其部件之间显式对应关系的情况下，实现形状类别内的形变迁移？
• RQ2 共享的规范潜在空间是否能够同步各个形状特定的形变空间，以确保在形状间实现一致且合理的编辑？
• RQ3 在无对应关系监督的情况下，如何实现形变迁移中的路径无关性与结构保持性（如对称性、部件连接性）？
• RQ4 该框架是否能泛化至非线性形变，如关节形形状中的旋转运动？
• RQ5 缺乏对应信息在多大程度上影响形变迁移与投影的质量与一致性？

主要发现

• DeformSyncNet 在训练过程中完全不使用任何对应信息，即可在同类别的多个形状之间实现一致的形变迁移。
• 该框架在编辑过程中成功保持了对称性、部件连接性等结构属性，如图 1 所示的可视化结果中红绿圆圈的稳定维持所示。
• 在 Shape2Motion 数据集上，当潜在维度与自由度相匹配时，潜在空间中建模圆形轨迹的拟合误差（0.03）低于线性轨迹（0.04）。
• 当潜在维度较大（k=64）时，线性轨迹方法同样实现了较低的拟合误差（0.08），表明高维空间能够编码复杂运动。
• 网络成功识别出关节形形状中的独立旋转运动，如图 14 所示，其中每个学习到的字典元素对应一个独立的折叠部件。
• Neural Cages（同样使用线性偏移）在 Shape2Motion 数据集上表现失败，表明 DeformSyncNet 具有更优的泛化能力与建模能力。