[论文解读] Exploring Facial Expressions and Affective Domains for Parkinson Detection

Luis F. Gomez, Aythami Morales+2 more|arXiv (Cornell University)|Dec 11, 2020

Facial Nerve Paralysis Treatment and Research参考文献 47被引用 4

一句话总结

该论文提出了一种深度学习框架，通过利用情感领域自适应和三元组损失，基于视频序列中面部表情的分析来提升帕金森病（PD）的检测效果。通过建模情绪阶段（中性、启动-过渡、峰值、回落-过渡、中性）中的动态面部变化，该方法实现了87.3%的准确率——比单图基线方法高出8.9个百分点——表明时间动态特性以及从情感模型迁移学习显著提升了运动不能性面容的检测效果。

ABSTRACT

Parkinson's Disease (PD) is a neurological disorder that affects facial movements and non-verbal communication. Patients with PD present a reduction in facial movements called hypomimia which is evaluated in item 3.2 of the MDS-UPDRS-III scale. In this work, we propose to use facial expression analysis from face images based on affective domains to improve PD detection. We propose different domain adaptation techniques to exploit the latest advances in face recognition and Face Action Unit (FAU) detection. The principal contributions of this work are: (1) a novel framework to exploit deep face architectures to model hypomimia in PD patients; (2) we experimentally compare PD detection based on single images vs. image sequences while the patients are evoked various face expressions; (3) we explore different domain adaptation techniques to exploit existing models initially trained either for Face Recognition or to detect FAUs for the automatic discrimination between PD patients and healthy subjects; and (4) a new approach to use triplet-loss learning to improve hypomimia modeling and PD detection. The results on real face images from PD patients show that we are able to properly model evoked emotions using image sequences (neutral, onset-transition, apex, offset-transition, and neutral) with accuracy improvements up to 5.5% (from 72.9% to 78.4%) with respect to single-image PD detection. We also show that our proposed affective-domain adaptation provides improvements in PD detection up to 8.9% (from 78.4% to 87.3% detection accuracy).

研究动机与目标

• 开发一种基于面部表情动态的自动、客观的帕金森病检测系统。
• 探究建模面部情绪表达的时间阶段是否能提升检测效果，相较于单图分析方法。
• 探索从预训练的人脸识别与面部动作单元（FAU）检测模型迁移领域自适应，以提升帕金森病检测性能。
• 评估三元组损失在提升帕金森病患者运动不能性面容建模特征表示方面的有效性。
• 评估轻量化模型在可穿戴设备上部署的可行性。

提出的方法

• 该框架将视频序列分割为五个情绪阶段：中性、启动-过渡、峰值、回落-过渡和中性，以捕捉动态面部变化。
• 通过在帕金森病患者和健康受试者数据上使用迁移学习对预训练深度人脸模型（如Freeze 75）进行微调，应用情感领域自适应。
• 采用三元组损失优化特征嵌入，促使相似样本（如帕金森病患者）聚类更紧密，不同类别间距离更大。
• 通过对比单帧分类与多阶段帧分析，评估时间动态特性的影响。
• 评估简化架构（VGG-8、ResNet7）的可移植性，三元组损失进一步提升了这些模型的性能。
• 使用主成分分析可视化学习特征空间中不同损伤程度帕金森病患者之间的可分性。

实验结果

研究问题

• RQ1 与单图分析相比，建模情绪产生多个阶段的面部表情动态是否能提升帕金森病检测准确率？
• RQ2 从人脸识别或FAU检测领域的预训练模型迁移学习，是否能提升帕金森病检测性能？
• RQ3 三元组损失学习在多大程度上改善了帕金森病患者运动不能性面容建模的特征表示？
• RQ4 使用三元组损失训练的轻量化深度学习模型是否能实现可接受的准确率，以适用于可穿戴设备部署？
• RQ5 在特征空间中是否存在反映帕金森病患者神经功能严重程度的可辨识趋势？

主要发现

• 使用包含多个情绪阶段的视频序列，将帕金森病检测准确率提升了5.5个百分点，从单图方法的72.9%提高到78.4%。
• 通过迁移学习实现的情感领域自适应使检测准确率提升了8.9个百分点，达到87.3%，当使用在情绪数据上微调的模型时。
• VGG-8和ResNet7模型分别实现了最大准确率67.6%和78.8%，在引入三元组损失后进一步提升至72.7%和82.4%。
• 主成分空间揭示了特征可分性的清晰趋势，轻度和重度帕金森病患者形成明显聚类，中度病例则位于两者之间。
• 三元组损失学习显著增强了特征表示，尤其在轻量化模型中表现突出，表明其在高效且精准的帕金森病检测中的价值。
• 将帕金森病患者分为轻度、中度和重度三类的分类任务，最高准确率为44%（F1=0.45），表明在严重程度估计方面仍有改进空间。