[论文解读] ResMoNet: A Residual Mobile-based Network for Facial Emotion Recognition in Resource-Limited Systems.

Rodolfo Ferro-Pérez, Hugo Mitre‐Hernandez|arXiv (Cornell University)|May 15, 2020

Emotion and Mood Recognition参考文献 20被引用 8

一句话总结

ResMoNet 提出了一种轻量级、基于残差的移动卷积神经网络，采用深度可分离卷积和残差块，用于在资源受限设备上进行面部情绪识别。在 RaFD 数据集上的评估显示，与 MobileNet、PeleeNet、EDNN 和 IDNN 相比，其在减少 FLOPs、参数量的同时，实现了更高的准确率，并提升了推理速度和内存使用效率。

ABSTRACT

The Deep Neural Networks (DNNs) models have contributed a high accuracy for the classification of human emotional states from facial expression recognition data sets, where efficiency is an important factor for resource-limited systems as mobile devices and embedded systems. There are efficient Convolutional Neural Networks (CNN) models as MobileNet, PeleeNet, Extended Deep Neural Network (EDNN) and Inception-Based Deep Neural Network (IDNN) in terms of model architecture results: parameters, Floating-point OPerations (FLOPs) and accuracy. Although these results are satisfactory, it is necessary to evaluate other computational resources related to the trained model such as main memory utilization and response time to complete the emotion recognition. In this paper, we compare our proposed model inspired in depthwise separable convolutions and residual blocks with MobileNet, PeleeNet, EDNN and IDNN. The comparative results of the CNN architectures and the trained models --with Radboud Faces Database (RaFD)-- installed in a resource-limited device are discussed.

研究动机与目标

• 解决移动和嵌入式设备等资源受限系统中对高效深度学习模型的需求。
• 超越传统指标（如 FLOPs 和参数量）的计算效率评估，引入内存使用量和推理时间的衡量。
• 设计一种新型卷积神经网络架构，结合深度可分离卷积和残差块，以提升在低资源环境下的性能表现。
• 在面部情绪识别任务上，将所提出的模型与成熟的轻量级模型（MobileNet、PeleeNet、EDNN、IDNN）进行基准对比。

提出的方法

• 设计一种基于残差的移动网络（ResMoNet），利用深度可分离卷积降低计算复杂度。
• 引入残差块以稳定训练过程并改善深层网络中的梯度流动。
• 对模型架构进行优化，实现低 FLOPs、最小参数量和较小的内存占用。
• 在真实部署约束条件下，于 Radboud 面部数据库（RaFD）上进行模型训练与评估。
• 对比多种轻量级 CNN 的推理性能，包括响应时间和主内存利用率。
• 采用迁移学习和微调技术，使模型适配面部情绪识别任务。

实验结果

研究问题

• RQ1 ResMoNet 在面部情绪识别任务中，与 MobileNet、PeleeNet、EDNN 和 IDNN 相比，其 FLOPs 和参数量如何？
• RQ2 当部署在资源受限设备上时，ResMoNet 的推理速度和主内存利用率分别是多少？
• RQ3 ResMoNet 中集成的残差块与深度可分离卷积是否显著提升了模型的准确率和效率？
• RQ4 FLOPs、参数量、内存使用量和响应时间等计算指标如何共同影响情绪识别模型在移动系统上的可部署性？

主要发现

• ResMoNet 在 RaFD 数据集上的准确率高于 MobileNet、PeleeNet、EDNN 和 IDNN，同时保持更低的 FLOPs 和更少的参数量。
• 与基线模型相比，该模型的推理时间更短，表明其在移动设备上具备更优的实时性能。
• ResMoNet 的主内存利用率显著低于对比模型，进一步增强了其在嵌入式系统中的适用性。
• ResMoNet 中深度可分离卷积与残差块的结合，实现了准确率与计算效率之间的更优权衡。
• 在整体效率方面，ResMoNet 显著优于所有基线模型，实现了准确率、FLOPs、参数量和内存使用量的综合平衡。