[论文解读] Facial Expression Recognition with Deep Learning

Amil Khanzada, Charles Bai+1 more|arXiv (Cornell University)|Apr 8, 2020

Emotion and Mood Recognition参考文献 15被引用 25

一句话总结

本文提出了一种基于多种最先进模型的深度学习方法，用于面部表情识别（FER），在 FER2013 测试集上实现了 75.8% 的准确率，超越了所有先前发表的研究。此外，该研究通过一个可在设备上运行的移动网页应用，展示了实时推理能力，显著提升了在实际应用场景中的可部署性。

ABSTRACT

One of the most universal ways that people communicate is through facial expressions. In this paper, we take a deep dive, implementing multiple deep learning models for facial expression recognition (FER). Our goals are twofold: we aim not only to maximize accuracy, but also to apply our results to the real-world. By leveraging numerous techniques from recent research, we demonstrate a state-of-the-art 75.8% accuracy on the FER2013 test set, outperforming all existing publications. Additionally, we showcase a mobile web app which runs our FER models on-device in real time.

研究动机与目标

• 提升面部表情识别（FER）的准确率，超越现有深度学习方法。
• 开发一种可在移动设备上实现实时 FER 的可部署系统。
• 弥合高准确率模型与实际设备端应用之间的差距。
• 利用近期深度学习技术，优化在 FER2013 基准上的性能表现。
• 通过移动网页应用实现端到端的实时推理。

提出的方法

• 作者实现了多种专为面部表情识别设计的深度学习架构，并对其进行了评估。
• 他们应用了近期研究中的先进技术，以优化模型在 FER2013 数据集上的性能。
• 最终模型通过设备端推理在移动网页应用中进行部署，以确保低延迟和隐私保护。
• 模型训练聚焦于在保持移动端部署效率的同时最大化准确率。
• 系统使用轻量级推理管道，实现在智能手机上的实时面部表情分类。
• 该方法集成了迁移学习和数据增强策略，以提升模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 使用现代深度学习技术，在 FER2013 基准上可达到的最高准确率是多少？
• RQ2 高准确率的 FER 模型能否在移动设备上实现高效实时推理？
• RQ3 与先前方法相比，近期深度学习进展如何提升面部表情识别的性能？
• RQ4 在移动设备部署中，模型准确率与推理效率之间存在哪些权衡？
• RQ5 能否有效构建并演示一个完全基于设备端、实时运行的 FER 系统？

主要发现

• 所提出的模型在 FER2013 数据集上实现了 75.8% 的最先进测试准确率，超越了所有先前发表的结果。
• 该模型成功部署于移动网页应用中，实现设备端实时推理，无需依赖云端处理。
• 系统表现出低延迟性能，适用于人机交互和情感计算等实际应用场景。
• 先进深度学习技术的集成显著提升了识别准确率，相较于基线模型有明显改进。
• 设备端推理确保了用户隐私，并减少了对网络连接的依赖。
• 结果证实，高准确率与实时性能可在移动 FER 系统中同时实现。