[论文解读] Kernel Projection of Latent Structures Regression for Facial Animation Retargeting

Christos Ouzounis, Alex Kilias+1 more|arXiv (Cornell University)|Jul 30, 2017

Human Motion and Animation参考文献 16被引用 7

一句话总结

本文提出了一种核投影潜在结构（KPLS）回归方法，用于在面部形态各异的角色之间高效实现面部动画重定向。通过将语义上相似的面部表情投影到潜在空间，并求解核化特征值问题，该方法在映射运动数据方面实现了卓越的准确性，相较于Dutreve等人（2008年）的先前方法，相似度提升了61%。

ABSTRACT

Inspired by kernel methods that have been used extensively in achieving efficient facial animation retargeting, this paper presents a solution to retargeting facial animation in virtual character's face model based on the kernel projection of latent structure (KPLS) regression between semantically similar facial expressions. Specifically, a given number of corresponding semantically similar facial expressions are projected into the latent space. By using the Nonlinear Iterative Partial Least Square method, decomposition of the latent variables is achieved. Finally, the KPLS is achieved by solving a kernalized version of the eigenvalue problem. By evaluating our methodology with other kernel-based solutions, the efficiency of the presented methodology in transferring facial animation to face models with different morphological variations is demonstrated.

研究动机与目标

• 解决将演员的面部动画迁移到具有不同形态结构的虚拟角色时所面临的挑战。
• 克服低层次对应方法因源模型与目标模型之间缺乏或不恰当映射而失效的局限性。
• 在源（演员）和目标（虚拟角色）人脸模型的面部表情之间建立稳健的语义对应关系。
• 通过基于核的学习方法，利用面部表情数据中的非线性关系，提升重定向的准确性和稳定性。
• 开发一种可扩展的自动重定向解决方案，确保在各种面部形态下保持表达的保真度。

提出的方法

• 使用核方法将源和目标人脸模型中对应的语义相似面部表情投影到共享潜在空间。
• 应用非线性迭代偏最小二乘法（NIPLS）算法对潜在变量进行分解，以捕捉数据中的非线性关系。
• 将KPLS回归公式化为特征值问题的核化版本，以建模表达空间之间的复杂非线性映射。
• 使用人脸模型的顶点位置作为训练KPLS模型的输入特征，实现数据驱动的表达迁移。
• 执行逆向重定向（从中间模型到初始模型）以验证所学映射的一致性和准确性。
• 通过基于所有帧和顶点的平均顶点位移误差的损失函数对映射进行优化。

实验结果

研究问题

• RQ1 当源和目标人脸模型存在显著形态差异时，如何有效建立面部表情之间的语义对应关系？
• RQ2 与传统的线性方法或非核化方法相比，基于核的方法（如KPLS）在多大程度上能提升面部动画重定向的准确性和稳定性？
• RQ3 在跨多个几何结构各异的人脸模型之间重定向运动序列时，KPLS回归方法是否能保持高保真度的表达迁移？
• RQ4 在顶点位移误差方面，该方法与现有最先进基于核的重定向技术相比，其量化表现如何？
• RQ5 非线性潜在空间投影对在重定向过程中保持面部表情的语义和动态特征具有何种影响？

主要发现

• 所提出的基于KPLS的方法在顶点位移误差的度量下，相较于Dutreve等人（2008年）的方法，重定向相似度提升了61%。
• 与Deng等人（2006年）相比，相似度提升26%；与Costigan等人（2014年）相比，提升20%；与Song等人（2011年）相比，提升14%。
• 通过1000帧随机面部运动序列的评估，证实了该方法在复杂运动序列中的鲁棒性和稳定性。
• 从中间（男性面部）模型逆向重定向回初始（婴儿面部）模型的结果显示了一致且准确的重建，验证了该方法的双向可靠性。
• 由于其非线性潜在空间建模能力，KPLS方法能有效保持表达对之间的语义对应关系，即使在存在较大形态差异的情况下亦然。
• 视觉结果和定量误差指标共同表明，所提出的方法在所有评估方法中产生了最准确且视觉上可信的重定向面部动画。