[论文解读] Augmenting Implicit Neural Shape Representations with Explicit Deformation Fields

Matan Atzmon, David Novotný+2 more|arXiv (Cornell University)|Aug 19, 2021

3D Shape Modeling and Analysis参考文献 46被引用 7

一句话总结

本文提出一种框架，通过整合显式的分段线性形变场来正则化潜在空间中合理的形状形变，从而增强隐式神经形状表示。通过在这些形变场上最小化尽可能刚性（as-rigid-as-possible）的能量，该方法提升了插值质量，减少了如部件突现等伪影，并实现了从稀疏数据重建和插值的3D形状中自然、可动的形变过渡。

ABSTRACT

Implicit neural representation is a recent approach to learn shape collections as zero level-sets of neural networks, where each shape is represented by a latent code. So far, the focus has been shape reconstruction, while shape generalization was mostly left to generic encoder-decoder or auto-decoder regularization. In this paper we advocate deformation-aware regularization for implicit neural representations, aiming at producing plausible deformations as latent code changes. The challenge is that implicit representations do not capture correspondences between different shapes, which makes it difficult to represent and regularize their deformations. Thus, we propose to pair the implicit representation of the shapes with an explicit, piecewise linear deformation field, learned as an auxiliary function. We demonstrate that, by regularizing these deformation fields, we can encourage the implicit neural representation to induce natural deformations in the learned shape space, such as as-rigid-as-possible deformations.

研究动机与目标

• 为解决隐式神经形状表示在潜在码插值过程中生成合理形变的局限性。
• 克服隐式表示中形状之间缺乏点对应关系的问题，该问题阻碍了标准几何正则化。
• 提升隐式神经形状空间在重建之外的泛化能力，特别是在稀疏或非均匀采样数据（如原始D-Faust扫描）上的表现。
• 通过将形变先验嵌入潜在空间，实现自然、物理上合理的形状形变（如可动运动）。
• 证明显式形变场可作为辅助函数学习以正则化隐式神经函数，从而同时提升重建和插值的保真度。

提出的方法

• 该方法引入一个显式、分段线性的形变场作为辅助函数，用于建模3D空间中点在潜在码发生无穷小变化时的运动。
• 该形变场由隐式神经函数对潜在码的梯度导出，确保与等值面演化的一致性。
• 在形变场上应用基于尽可能刚性（ARAP）能量的几何正则化损失，以鼓励分段刚性或弹性运动。
• 在训练过程中与隐式神经函数联合优化形变场，使网络能够学习到一种形状空间，使得潜在码的过渡产生合理的形变。
• 该框架具有通用性，可整合任何可表示为显式形变场的形变先验，不限于ARAP。
• 该方法在D-Faust数据集上进行评估，使用Chamfer距离和Wasserstein距离衡量重建质量，使用基于直方图的指标衡量插值质量。

实验结果

研究问题

• RQ1 显式形变场能否用于正则化隐式神经形状表示，以生成更合理的形状插值？
• RQ2 与标准VAE或自编码器正则化器相比，整合尽可能刚性形变先验在多大程度上提升了插值3D形状的质量？
• RQ3 形变感知正则化在多大程度上能增强对稀疏、非均匀采样3D扫描（如原始D-Faust数据集）的泛化能力？
• RQ4 显式形变场的集成是否能提升对训练集中未见姿态或动作的重建精度？
• RQ5 形变场学习过程能否在潜在空间中捕捉自然的运动学结构（如人体结构）？

主要发现

• 在D-Faust数据集上，所提方法在重建未见姿态方面显著优于基线VAE和自编码器模型，Chamfer距离和Wasserstein距离更低。
• 该方法减少了插值过程中部件突现等伪影，实现了更平滑、更自然的姿态过渡。
• 使用形变先验进行潜在码螺旋插值的结果优于线性插值，表现为表面属性直方图中Wasserstein距离更低。
• 在女性受试者子集中，该方法在t_mean处的HKS和测地线距离的Wasserstein距离分别为0.836和0.836，而AD基线为1.203，表明形状结构保持得更好。
• 所学习的形变场生成的概率向量与人体的自然运动学结构一致，如图5所示，证实该方法捕捉了解剖学上的合理性。
• 在形状空间插值中，该方法在肢体和面部特征（如图7中的红框区域）保持了几何一致性，避免了基线方法中常见的形变失真。