[论文解读] Conformal Surface Morphing with Applications on Facial Expressions

Mei-Heng Yueh, Xianfeng Gu+3 more|arXiv (Cornell University)|Apr 1, 2015

Advanced Numerical Analysis Techniques参考文献 16被引用 3

一句话总结

本文提出了一种基于黎曼共形映射和莫比乌斯变换的共形曲面变形方法，用于3D面部表情的平滑、特征保持的过渡。通过利用共形因子和平均曲率对曲面进行参数化，并在统一的测地线网格上应用三次样条同伦，该方法在减少10%帧数的同时实现了高保真度的变形，且保持了几何和纹理的准确性。

ABSTRACT

Morphing is the process of changing one figure into another. Some numerical methods of 3D surface morphing by deformable modeling and conformal mapping are shown in this study. It is well known that there exists a unique Riemann conformal mapping from a simply connected surface into a unit disk by the Riemann mapping theorem. The dilation and relative orientations of the 3D surfaces can be linked through the Möbius transformation due to the conformal characteristic of the Riemann mapping. On the other hand, a 3D surface deformable model can be built via various approaches such as mutual parameterization from direct interpolation or surface matching using landmarks. In this paper, we take the advantage of the unique representation of 3D surfaces by the mean curvatures and the conformal factors associated with the Riemann mapping. By registering the landmarks on the conformal parametric domains, the correspondence of the mean curvatures and the conformal factors for each surfaces can be obtained. As a result, we can construct the 3D deformation field from the surface reconstruction algorithm proposed by Gu and Yau. Furthermore, by composition of the Möbius transformation and the 3D deformation field, the morphing sequence can be generated from the mean curvatures and the conformal factors on a unified mesh structure by using the cubic spline homotopy. Several numerical experiments of the face morphing are presented to demonstrate the robustness of our approach.

研究动机与目标

• 开发一种鲁棒的3D曲面变形技术，以在面部表情转换过程中保持面部特征和几何完整性。
• 通过共形参数化解决具有不同拓扑结构的高度形变3D曲面之间的匹配挑战。
• 在保持高分辨率3D变形序列的同时，降低计算成本和数据量。
• 通过单一统一网格实现在变形序列中几何和纹理信息的高效插值。
• 通过引入物理合理性变形模型和能量最小化原理，提升变形的逼真度。

提出的方法

• 利用黎曼映射定理，将单连通3D曲面唯一地共形参数化到单位圆盘上。
• 通过莫比乌斯变换对源曲面和目标曲面的共形参数化进行对齐，确保最优对应关系。
• 从特征点构建单一基于测地线的网格，作为插值的统一参数域。
• 通过共形因子λ和平均曲率H表示每张曲面，实现在参数域中的三次样条同伦插值。
• 应用Gu-Yau曲面重建算法，从插值后的(H, λ)数据生成3D中间帧。
• 提出一种通过多重网格方法加速的非线性迭代重建算法，以提高效率并支持多分辨率输出。

实验结果

研究问题

• RQ1 如何利用共形映射在非等距的3D面部曲面之间实现稳定且平滑的3D曲面变形？
• RQ2 在高度形变的3D面部网格之间，如何实现最优的特征对应关系，同时保持几何和纹理保真度？
• RQ3 能否通过基于测地线路径生成的单一统一网格，实现复杂面部表情的精确且高效的插值？
• RQ4 在3D变形序列中，能否实现高达10%原始帧数的帧数减少，而不会损害视觉质量？
• RQ5 莫比乌斯变换与薄板变形的结合，相比标准插值方法，在多大程度上提升了变形的准确性？

主要发现

• 当使用最优莫比乌斯变换进行全局匹配时，在t=1.3处表面重建误差的改善率达到55.01%。
• 在t=1.4时，重建曲面与真实曲面之间的L²误差为1.3639×10⁻²，L∞误差为2.9274×10⁻³，表明重建精度很高。
• 变形序列保持了分段光滑性，防止了帧的抖动，确保了相机路径的稳定性。
• 该方法在不损失分辨率或视觉质量的前提下，将数据量减少了90%（仅使用原始帧的10%）。
• 外推实验表明性能一致，L²误差在t=1.7时增加至3.2057×10⁻²，表明方法在训练范围之外仍具鲁棒性。
• 该方法成功生成了包括眨眼、张嘴和跨性别面部转换在内的逼真变形序列，甚至包括狮子头部等非人类面部。