[论文解读] Deep Learning for Micro-expression Recognition: A Survey

Yante Li, Jinsheng Wei+3 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Computing and Algorithms被引用 5

一句话总结

本综述全面回顾了基于深度学习（DL）的微表情识别（MER）技术，涵盖数据集、深度学习流程、网络架构、损失函数及训练策略。该研究提出了一种新颖的DL-MER分类体系，识别出小样本、低强度数据等关键挑战，并展望了多模态融合、可解释性及现实环境鲁棒性等未来方向，是该领域首份系统性综述。

ABSTRACT

Micro-expressions (MEs) are involuntary facial movements revealing people's hidden feelings in high-stake situations and have practical importance in medical treatment, national security, interrogations and many human-computer interaction systems. Early methods for MER mainly based on traditional appearance and geometry features. Recently, with the success of deep learning (DL) in various fields, neural networks have received increasing interests in MER. Different from macro-expressions, MEs are spontaneous, subtle, and rapid facial movements, leading to difficult data collection, thus have small-scale datasets. DL based MER becomes challenging due to above ME characters. To date, various DL approaches have been proposed to solve the ME issues and improve MER performance. In this survey, we provide a comprehensive review of deep micro-expression recognition (MER), including datasets, deep MER pipeline, and the bench-marking of most influential methods. This survey defines a new taxonomy for the field, encompassing all aspects of MER based on DL. For each aspect, the basic approaches and advanced developments are summarized and discussed. In addition, we conclude the remaining challenges and and potential directions for the design of robust deep MER systems. To the best of our knowledge, this is the first survey of deep MER methods, and this survey can serve as a reference point for future MER research.

研究动机与目标

• 系统回顾自2016年以来基于深度学习的微表情识别（MER）方法。
• 建立涵盖识别流程各阶段的新DL-MER分类体系。
• 分析MER中动态输入、网络模块、训练策略及损失函数的优势与局限。
• 识别数据稀缺、模型鲁棒性及实际部署中的主要挑战。
• 讨论伦理问题，包括隐私、数据偏差及MER系统中的透明度。

提出的方法

• 本综述系统分析了100余篇发表于顶级期刊与会议（如IEEE TPAMI、ACM MM）的基于深度学习的MER论文。
• 对MER中使用的DL架构进行分类与评估，包括3D CNN、RNN、Transformer及混合模型。
• 研究输入表征方式，如光流、LBP-TOP及原始视频帧，评估其在捕捉细微面部动态方面的有效性。
• 综述训练策略，包括数据增强、迁移学习以及交叉熵损失、三元组损失等损失函数。
• 在CASME II、SAMER和MFED等基准数据集上评估性能，对比最先进模型。
• 探讨新兴趋势，如多模态融合（例如结合面部与生理信号）及轻量化多流网络。

实验结果

研究问题

• RQ1 现代MER系统中采用的关键深度学习架构与输入表征是什么？它们在性能上如何比较？
• RQ2 训练策略与损失函数如何影响MER模型的鲁棒性与准确性？
• RQ3 由于微表情数据规模小、强度低且易受噪声干扰，MER面临的主要挑战是什么？
• RQ4 如何通过多模态数据（如面部与生理信号）提升MER的性能与泛化能力？
• RQ5 MER中存在哪些伦理与隐私问题？在研究与实际应用中应如何缓解？

主要发现

• 综述识别出3D CNN与基于注意力机制的模型（如Transformer）在捕捉微表情的时空动态方面最为有效。
• 光流与LBP-TOP特征通过增强运动敏感性，显著提升了小样本数据集上的性能。
• 数据增强与迁移学习对于在训练数据有限的情况下提升泛化能力至关重要。
• 多模态融合，尤其是结合面部与生理信号，显示出提升鲁棒性与准确性的潜力。
• 当前基于深度学习的MER系统在实际部署中仍面临挑战，主要源于姿态变化、光照变化以及与宏观表情共现的问题。
• 隐私、数据偏差与模型透明度等伦理问题，是阻碍MER系统负责任部署的主要障碍。