[论文解读] 3DPalsyNet: A Facial Palsy Grading and Motion Recognition Framework using Fully 3D Convolutional Neural Networks

Gary Storey, Richard Jiang+3 more|arXiv (Cornell University)|May 31, 2019

Facial Nerve Paralysis Treatment and Research参考文献 27被引用 4

一句话总结

3DPalsyNet 是一种基于 ResNet 主干网络的 3D 卷积神经网络框架，可实现从视频序列中端到端的面瘫分级与口部运动识别。通过利用 Kinetics 数据集的迁移学习，并结合中心损失与 Softmax 损失，其在 8 帧时长下实现了 86% 的运动识别准确率和 82% 的分级准确率，表现最优。

ABSTRACT

The capability to perform facial analysis from video sequences has significant potential to positively impact in many areas of life. One such area relates to the medical domain to specifically aid in the diagnosis and rehabilitation of patients with facial palsy. With this application in mind, this paper presents an end-to-end framework, named 3DPalsyNet, for the tasks of mouth motion recognition and facial palsy grading. 3DPalsyNet utilizes a 3D CNN architecture with a ResNet backbone for the prediction of these dynamic tasks. Leveraging transfer learning from a 3D CNNs pre-trained on the Kinetics data set for general action recognition, the model is modified to apply joint supervised learning using center and softmax loss concepts. 3DPalsyNet is evaluated on a test set consisting of individuals with varying ranges of facial palsy and mouth motions and the results have shown an attractive level of classification accuracy in these task of 82% and 86% respectively. The frame duration and the loss function affect was studied in terms of the predictive qualities of the proposed 3DPalsyNet, where it was found shorter frame duration's of 8 performed best for this specific task. Centre loss and softmax have shown improvements in spatio-temporal feature learning than softmax loss alone, this is in agreement with earlier work involving the spatial domain.

研究动机与目标

• 开发一种基于视频数据的端到端自动化面瘫分级与口部运动识别框架。
• 通过联合监督学习结合中心损失与 Softmax 损失，提升面瘫运动分析中的时空特征学习能力。
• 评估帧时长与损失函数设计对面瘫评估分类性能的影响。
• 通过鲁棒的深度学习视频分析，实现临床诊断与康复支持应用。
• 展示 3D CNN 与 ResNet 架构在医学场景下动态面部表情分析中的有效性。

提出的方法

• 该框架采用带有 ResNet 主干网络的 3D CNN，从面部运动视频片段中提取时空特征。
• 利用在 Kinetics 数据集上预训练的 3D CNN 实现迁移学习，用于通用动作识别。
• 通过同时使用中心损失与 Softmax 损失，实现联合监督学习，以增强特征的判别能力。
• 模型在包含不同面瘫程度与运动类型的多样化测试集上进行训练与评估。
• 系统性地改变帧时长（如 8、16、32 帧），以评估其对预测性能的影响。
• 通过保持面部运动序列中的时序动态特性，对网络架构进行优化以增强时序建模能力。

实验结果

研究问题

• RQ1 带有 ResNet 主干的 3D CNN 在识别与面瘫相关的动态面部运动方面效果如何？
• RQ2 在面瘫分级与运动识别中，实现准确分类的最优帧时长是多少？
• RQ3 与仅使用 Softmax 损失相比，结合中心损失与 Softmax 损失如何提升时空特征学习？
• RQ4 从 Kinetics 进行迁移学习是否能提升在面瘫分类任务中的性能？
• RQ5 该模型在不同面瘫严重程度的个体之间是否具有良好泛化能力？

主要发现

• 3DPalsyNet 框架在测试集上实现了 86% 的口部运动识别分类准确率。
• 使用所提出的框架，面瘫分级准确率达到 82%。
• 8 帧的较短帧时长效验表现最佳，优于 16 或 32 帧的较长时长。
• 结合中心损失与 Softmax 损失显著提升了时空特征学习效果，优于仅使用 Softmax 损失。
• 利用来自 Kinetics 数据集的迁移学习，增强了模型在面瘫任务中的泛化能力与性能。
• 结果表明，使用 3D CNN 可实现从视频中自动化、临床相关的面瘫评估。