[论文解读] MERANet: Facial Micro-Expression Recognition using 3D Residual Attention Network.

G.V. Subba Reddy, Sai Reddy+2 more|arXiv (Cornell University)|Dec 7, 2020

Emotion and Mood Recognition参考文献 42被引用 4

一句话总结

MERANet 是一种用于面部微表情识别的3D残差注意力网络，通过整合空间-时间注意力机制与通道注意力机制，捕捉细微的时空特征。通过利用3D卷积核、残差连接以及双注意力重校准机制，其在基准微表情数据集上实现了最先进性能。

ABSTRACT

We propose a facial micro-expression recognition model using 3D residual attention network called MERANet. The proposed model takes advantage of spatial-temporal attention and channel attention together, to learn deeper fine-grained subtle features for classification of emotions. The proposed model also encompasses both spatial and temporal information simultaneously using the 3D kernels and residual connections. Moreover, the channel features and spatio-temporal features are re-calibrated using the channel and spatio-temporal attentions, respectively in each residual module. The experiments are conducted on benchmark facial micro-expression datasets. A superior performance is observed as compared to the state-of-the-art for facial micro-expression recognition.

研究动机与目标

• 为解决由于视觉变化极小而难以检测的细微、短暂面部微表情识别挑战。
• 通过联合建模微表情序列中的空间、时间与通道依赖关系，提升特征表示能力。
• 通过在空间-时间与通道层面进行特征重校准的注意力机制，提升分类性能。
• 开发一种深度学习架构，利用3D卷积与残差学习，有效捕捉面部微表情中的精细动态特征。

提出的方法

• 该模型采用3D卷积核，从微表情视频序列中同时提取空间与时间特征。
• 使用残差连接以稳定训练过程，并支持更深的网络架构以实现更优的特征学习。
• 在每个残差模块中应用空间-时间注意力机制，根据特征重要性对时空特征进行重校准。
• 引入通道注意力机制，对通道维度的特征图进行重校准，突出对分类具有判别性的通道。
• 在每个残差模块中应用双注意力机制（空间-时间与通道），逐步优化特征表示。
• 在基准微表情数据集上端到端训练网络，使用标准分类损失函数进行优化。

实验结果

研究问题

• RQ1 具有双注意力机制的3D残差网络是否能提升对细微面部微表情的识别性能？
• RQ2 空间-时间注意力与通道注意力机制在微表情识别中是否能有效增强特征表示能力？
• RQ3 3D卷积与残差学习的结合是否能显著提升在基准微表情数据集上的性能表现？
• RQ4 基于注意力的特征重校准在多大程度上能降低噪声影响并突出具有判别性的面部运动模式？

主要发现

• MERANet 在基准面部微表情数据集上的表现优于现有最先进方法。
• 空间-时间注意力与通道注意力机制的融合显著提升了微表情分类的特征判别能力。
• 3D卷积能有效捕捉微表情序列中的空间与时间动态特征，增强模型敏感性。
• 残差连接有助于训练稳定与深层特征学习，从而提升分类准确率。
• 双注意力机制使模型能够聚焦于相关面部区域与运动模式，降低无关变化的干扰影响。