[论文解读] Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition

Liangfei Zhang, Xiaopeng Hong+2 more|arXiv (Cornell University)|Dec 10, 2021

Emotion and Mood Recognition被引用 11

一句话总结

该论文提出了首个纯Transformer架构用于微表情识别，利用多头自注意力机制联合建模光流特征中的短程与长程时空依赖关系。该方法实现了最先进性能，成为首个在SMIC-HS、CASME II和SAMM三个主流数据集上均突破0.9未加权F1分数的方法。

ABSTRACT

Being spontaneous, micro-expressions are useful in the inference of a person's true emotions even if an attempt is made to conceal them. Due to their short duration and low intensity, the recognition of micro-expressions is a difficult task in affective computing. The early work based on handcrafted spatio-temporal features which showed some promise, has recently been superseded by different deep learning approaches which now compete for the state of the art performance. Nevertheless, the problem of capturing both local and global spatio-temporal patterns remains challenging. To this end, herein we propose a novel spatio-temporal transformer architecture -- to the best of our knowledge, the first purely transformer based approach (i.e. void of any convolutional network use) for micro-expression recognition. The architecture comprises a spatial encoder which learns spatial patterns, a temporal aggregator for temporal dimension analysis, and a classification head. A comprehensive evaluation on three widely used spontaneous micro-expression data sets, namely SMIC-HS, CASME II and SAMM, shows that the proposed approach consistently outperforms the state of the art, and is the first framework in the published literature on micro-expression recognition to achieve the unweighted F1-score greater than 0.9 on any of the aforementioned data sets.

研究动机与目标

• 为解决微表情识别的挑战，即微表情具有短暂、低强度且因自发性和非自愿性而难以检测的特性。
• 克服卷积神经网络在同时捕捉微表情视频中局部与全局时空关系方面的局限性。
• 开发一种完全基于Transformer的架构，完全替代卷积操作，实现对短程与长程时空依赖关系的端到端学习。
• 在基准微表情数据集上实现最先进性能，特别是在未加权F1分数方面，该指标在该领域仍是一大挑战。

提出的方法

• 模型采用基于多头自注意力的空间编码器，从长期光流帧中学习空间关系，替代卷积层。
• 设计了时间聚合模块，通过序列标记上的可学习注意力机制，建模跨视频帧的长程时间依赖关系。
• 处理可视化后的长期光流表征，以保留对微表情检测至关重要的运动动态。
• 在Transformer编码器的[CLS]标记输出上使用分类头，实现端到端训练与推理。
• 采用标准交叉熵损失函数，配合早停策略与Adam优化算法进行训练，并在单数据集与复合数据集两种协议下进行评估。
• 采用留一被试者交叉验证协议进行模型评估，以确保在不同被试者间的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 纯Transformer架构是否能通过联合建模短程与长程时空依赖关系，在微表情识别中超越卷积网络？
• RQ2 在长期光流特征上使用多头自注意力机制，是否相比手工设计特征或基于CNN的特征能提升识别性能？
• RQ3 所提方法是否能在任一标准微表情数据集中实现未加权F1分数超过0.9，从而树立新的最先进水平？
• RQ4 在单数据集与复合数据集评估设置下，模型性能如何，特别是在类别分布不平衡的情况下？

主要发现

• 所提方法首次在三个基准数据集SMIC-HS、CASME II和SAMM上报告了未加权F1分数超过0.9的结果。
• 在CASME II数据集上，该模型取得了最高的未加权F1分数，并在未加权准确率上位列第二。
• 在复合数据库上，该模型在未加权F1分数上排名第一，在未加权准确率上排名第二，展现出在多样化数据源上的强大泛化能力。
• 该模型优于先前的最先进方法，包括基于GCN和混合CNN-Transformer模型的方法，尤其在细微微表情的细粒度分类上表现更优。
• 混淆矩阵显示，在CASME II中区分“厌恶”与“其他”类别，以及在SAMM中区分“轻蔑”与“快乐”类别仍存在持续挑战，主要源于数据集中AU标注不一致或模糊。
• 消融实验表明，多头自注意力机制至关重要，若将时间聚合模块替换为简单平均操作，性能将出现显著下降。