[论文解读] Feature refinement: An expression-specific feature learning and fusion method for micro-expression recognition

Ling Zhou, Qirong Mao+3 more|arXiv (Cornell University)|Jan 13, 2021

Human Pose and Action Recognition参考文献 77被引用 9

一句话总结

本文提出特征精炼（FR），一种通过注意力机制提案模块学习特定于表情的特征并进行融合以提升分类性能的深度学习框架，从而增强微表情识别。该方法采用三阶段流程，在三个公开基准上实现了最先进或具有竞争力的性能：通过双流Inception网络进行共享特征学习；通过注意力机制和提案损失实现特定于表情的特征蒸馏；通过逐元素特征融合实现最终预测。

ABSTRACT

Micro-Expression Recognition has become challenging, as it is extremely difficult to extract the subtle facial changes of micro-expressions. Recently, several approaches proposed several expression-shared features algorithms for micro-expression recognition. However, they do not reveal the specific discriminative characteristics, which lead to sub-optimal performance. This paper proposes a novel Feature Refinement ({FR}) with expression-specific feature learning and fusion for micro-expression recognition. It aims to obtain salient and discriminative features for specific expressions and also predict expression by fusing the expression-specific features. FR consists of an expression proposal module with attention mechanism and a classification branch. First, an inception module is designed based on optical flow to obtain expression-shared features. Second, in order to extract salient and discriminative features for specific expression, expression-shared features are fed into an expression proposal module with attention factors and proposal loss. Last, in the classification branch, labels of categories are predicted by a fusion of the expression-specific features. Experiments on three publicly available databases validate the effectiveness of FR under different protocol. Results on public benchmarks demonstrate that our FR provides salient and discriminative information for micro-expression recognition. The results also show our FR achieves better or competitive performance with the existing state-of-the-art methods on micro-expression recognition.

研究动机与目标

• 为解决从短暂且强度低的微表情中提取显著且判别性特征的挑战，这些特征因持续时间短而难以检测。
• 克服现有共享表情特征方法无法捕捉特定于表情的判别性模式的局限性。
• 开发一种端到端的深度学习框架，自动学习并融合特定于表情的特征，以提升微表情识别性能。
• 引入一种新颖的注意力机制和提案损失，以增强特征判别力并提高模型可解释性。
• 在公开数据库的多个标准评估协议下验证所提方法的有效性。

提出的方法

• 使用带有Inception模块的双流Inception网络，从光流输入中提取共享表情特征，以捕捉全局和局部运动模式。
• 应用带有注意力机制的表情提案模块，通过突出显示判别性区域，将共享特征精炼为特定于表情的表示。
• 引入提案损失，通过鼓励不同表情的特征图具有差异性和非重叠性，优化特征学习过程。
• 通过逐元素求和的方式融合特定于表情的特征，形成经过精炼的特征，以提升分类性能。
• 分类分支利用融合后的、经表情精炼的特征预测表情类别，支持端到端训练。
• 在三种评估协议下对框架进行评估：单数据库（LOSO）、跨数据库（CDMER）和跨数据集（CDMER）设置。

实验结果

研究问题

• RQ1 特定于表情的特征学习是否能提升微表情识别中特征的判别能力？
• RQ2 基于注意力机制的提案模块在突出显示微表情中细微的、特定于表情的面部变化方面有多有效？
• RQ3 与仅使用共享特征相比，融合特定于表情的特征是否能带来更好的分类性能？
• RQ4 所提出的特征精炼框架在不同评估协议和数据库上的表现如何？
• RQ5 所提方法是否能在标准微表情识别基准上实现最先进性能？

主要发现

• 所提出的FR框架在三个公开微表情数据库（SMIC-HS、CASME II和SAMM）上实现了最先进或具有竞争力的性能。
• 在SMIC-HS数据集的LOSO协议下，FR实现了87.80%的准确率、86.50%的UAR和86.70%的UF1。
• 在CASME II（4类）数据集上，FR在LOSO评估下达到85.82%的准确率、84.70%的UAR和84.90%的UF1。
• 在SAMM数据集上，FR在LOSO协议下获得83.02%的准确率、81.50%的UAR和81.70%的UF1，表现出强大的泛化能力。
• 在跨数据集评估（CDMER）中，FR在全部12个源到目标子实验中均表现出稳健性能，表明其具备强大的领域泛化能力。
• 消融实验证实，注意力机制和提案损失均对性能提升有显著贡献，验证了其设计选择的合理性。