[论文解读] Face-GPS: A Comprehensive Technique for Quantifying Facial Muscle Dynamics in Videos

Juni Kim, Zhikang Dong+1 more|arXiv (Cornell University)|Jan 11, 2024

Facial Nerve Paralysis Treatment and ResearchMedicine被引用 3

一句话总结

Face-GPS 提出了一种新颖且可解释的方法，通过微分几何、核平滑和谱分析技术，从标准视频记录中量化面部肌肉动态。通过将面部标志点映射到标准人脸流形并应用多核平滑处理光流，该方法在 CK+ 数据集上实现了 86.1% 的面部情绪分类准确率，为 fEMG 和黑箱深度学习模型提供了一种非侵入性、易获取的替代方案。

ABSTRACT

We introduce a novel method that combines differential geometry, kernels smoothing, and spectral analysis to quantify facial muscle activity from widely accessible video recordings, such as those captured on personal smartphones. Our approach emphasizes practicality and accessibility. It has significant potential for applications in national security and plastic surgery. Additionally, it offers remote diagnosis and monitoring for medical conditions such as stroke, Bell's palsy, and acoustic neuroma. Moreover, it is adept at detecting and classifying emotions, from the overt to the subtle. The proposed face muscle analysis technique is an explainable alternative to deep learning methods and a non-invasive substitute to facial electromyography (fEMG).

研究动机与目标

• 开发一种实用且可访问的方法，从智能手机等设备获取的标准视频记录中量化面部肌肉活动。
• 克服 fEMG 和 FACS 的局限性，实现非侵入性、远程且可扩展的面部肌肉分析。
• 通过在标准人脸流形上结合核平滑与光流，提升基于深度学习的面部识别的可解释性。
• 实现对表情与肌肉运动的高精度、自动化分类，服务于临床与安防应用。
• 提供一种稳健的降噪框架，有效缓解头部运动与背景变化带来的干扰影响。

提出的方法

• 该方法使用 MediaPipe 提取面部标志点，并将其映射到标准人脸流形上，以实现对头部运动与背景变化的归一化。
• 构建由 854 个三角形和 3,681 个标志点组成的三角化人脸流形，确保面部肌肉区域的密集覆盖。
• 在连续帧之间计算光流以追踪像素位移，并通过多核平滑（MKS）框架中的高斯 RBF 核进行平滑处理。
• MKS 方法结合了来自面部肌肉描述符的加权核响应，其中权重由预训练的 FAN 模型（用于表情识别）生成。
• 通过逆仿射变换将位移向量转换回笛卡尔坐标系，以量化肌肉运动的幅度与方向。
• 最终输出为动态矢量场（类似热力图），叠加于视频之上，可视化肌肉运动的方向与强度。

实验结果

研究问题

• RQ1 能否在无需专用设备的情况下，从标准视频记录中准确量化面部肌肉动态？
• RQ2 在标准人脸流形上使用光流如何提升对头部运动与背景噪声的鲁棒性？
• RQ3 多核平滑在多大程度上增强了面部肌肉运动检测的可解释性与准确性？
• RQ4 仅使用面部肌肉位移特征是否足以在不依赖视觉外观线索的情况下实现高精度情绪分类？
• RQ5 基于深度学习的特征权重集成如何提升对特定面部动作的敏感性？

主要发现

• Face-GPS 仅使用面部肌肉位移特征（无视觉外观数据），在 CK+ 数据集上实现了 85.0% 的平均分类准确率。
• 在引入基于 FAN 的核权重后，准确率提升至 86.1%，证明了融合深度学习先验知识的价值。
• 该方法成功识别出与特定情绪相对应的动作单元，例如喜悦中的嘴角上扬与恐惧中的抬眉动作。
• 多核平滑方法有效降低了噪声，同时保留了视频序列中有意义的肌肉运动模式。
• 可视化输出——动态矢量场——准确呈现了各帧中面部肌肉位移的幅度与方向。
• 该框架支持远程、非侵入性的面部肌肉活动监测，适用于中风、贝尔氏麻痹和听神经瘤等疾病的诊断。