[论文解读] GmFace: A Mathematical Model for Face Image Representation Using Multi-Gaussian

Liping Zhang, Weijun Li+6 more|arXiv (Cornell University)|Aug 3, 2020

Face recognition and analysis参考文献 47被引用 4

一句话总结

GmFace 提出了一种使用多高斯函数建模面部结构的数学化人脸图像表示方法，其参数可调。通过训练 GmNet（其中高斯神经元编码 GmFace 参数），该方法将人脸建模转化为网络优化任务，实现了精确、可微的人脸重建，并可通过参数操作实现数学化的人脸变换。

ABSTRACT

Establishing mathematical models is a ubiquitous and effective method to understand the objective world. Due to complex physiological structures and dynamic behaviors, mathematical representation of the human face is an especially challenging task. A mathematical model for face image representation called GmFace is proposed in the form of a multi-Gaussian function in this paper. The model utilizes the advantages of two-dimensional Gaussian function which provides a symmetric bell surface with a shape that can be controlled by parameters. The GmNet is then designed using Gaussian functions as neurons, with parameters that correspond to each of the parameters of GmFace in order to transform the problem of GmFace parameter solving into a network optimization problem of GmNet. The face modeling process can be described by the following steps: (1) GmNet initialization; (2) feeding GmNet with face image(s); (3) training GmNet until convergence; (4) drawing out the parameters of GmNet (as the same as GmFace); (5) recording the face model GmFace. Furthermore, using GmFace, several face image transformation operations can be realized mathematically through simple parameter computation.

研究动机与目标

• 开发一种基于多高斯函数的数学上严谨且可调控的人脸图像表示方法。
• 解决由于生理差异和动态行为导致的复杂面部结构建模挑战。
• 通过 GmNet 将 GmFace 模型的参数估计问题转化为可训练的神经网络优化任务。
• 通过直接操作 GmFace 参数实现数学化的人脸变换（例如，编辑、合成）。

提出的方法

• 使用多高斯函数对人脸图像进行建模，其中每个高斯分量可捕捉局部面部特征，并具有可调的振幅、均值和协方差。
• 设计 GmNet 作为神经网络，其中每个神经元对应 GmFace 中的一个高斯分量，其可学习参数与 GmFace 的结构相匹配。
• 对 GmNet 进行初始化，并在人脸图像上进行训练，以优化最能重建输入人脸图像的参数。
• 收敛训练过程以提取最终的 GmFace 参数，从而定义完整的人脸模型。
• 利用学习到的 GmFace 参数执行数学运算，如通过直接参数计算实现人脸编辑或合成。
• 通过二维高斯函数的固有特性，确保人脸表示的对称性与平滑性。

实验结果

研究问题

• RQ1 多高斯函数能否以高保真度和可控性有效表示复杂的面部结构？
• RQ2 如何利用深度学习高效求解 GmFace 模型的参数估计问题？
• RQ3 通过直接操作 GmFace 参数，能在多大程度上实现数学化的人脸变换？
• RQ4 GmNet 架构能否在多样化的人脸外观上泛化，同时保持几何与光度准确性？

主要发现

• GmFace 模型成功使用一组紧凑的多高斯分量，以高重建精度表示人脸图像。
• GmNet 通过端到端训练有效学习 GmFace 参数，实现了鲁棒且稳定的面部建模。
• 可通过简单的参数计算实现人脸图像编辑或合成等操作，而无需重新训练。
• 该方法实现了可微且可解释的人脸建模，适用于面部分析与合成等应用。
• 使用二维高斯函数确保了对称、平滑且参数可控的人脸表面表示。
• 该框架在参数层面操作下，展现出在下游任务（如人脸识别与生成）中的潜力。