[论文解读] Micro-Attention for Micro-Expression recognition

Chongyang Wang, Min Peng+2 more|arXiv (Cornell University)|Nov 6, 2018

Emotion and Mood Recognition参考文献 42被引用 15

一句话总结

本文提出微注意力机制（micro-attention），一种与残差网络集成的新型注意力机制，通过聚焦于与动作单元相关的微表情小区域来提升微表情识别性能。该方法在CASMEII、SAMM和SMIC数据集上实现了最先进性能，参数增加极少，并通过有效的迁移学习克服了微表情数据量有限和空间稀疏性等挑战。

ABSTRACT

Micro-expression, for its high objectivity in emotion detection, has emerged to be a promising modality in affective computing. Recently, deep learning methods have been successfully introduced into the micro-expression recognition area. Whilst the higher recognition accuracy achieved, substantial challenges in micro-expression recognition remain. The existence of micro expression in small-local areas on face and limited size of available databases still constrain the recognition accuracy on such emotional facial behavior. In this work, to tackle such challenges, we propose a novel attention mechanism called micro-attention cooperating with residual network. Micro-attention enables the network to learn to focus on facial areas of interest covering different action units. Moreover, coping with small datasets, the micro-attention is designed without adding noticeable parameters while a simple yet efficient transfer learning approach is together utilized to alleviate the overfitting risk. With extensive experimental evaluations on three benchmarks (CASMEII, SAMM and SMIC) and post-hoc feature visualizations, we demonstrate the effectiveness of the proposed micro-attention and push the boundary of automatic recognition of micro-expression.

研究动机与目标

• 解决由于微表情空间范围小且训练数据有限而带来的识别挑战。
• 开发一种注意力机制，可选择性聚焦于与微表情相关动作单元的面部区域。
• 在低数据环境下提升识别准确率的同时保持较低的参数开销。
• 通过高效的迁移学习策略缓解小样本数据集中的过拟合问题。

提出的方法

• 提出微注意力机制，一种轻量级注意力模块，可在不显著增加参数量的前提下学习聚焦于局部面部感兴趣区域。
• 将微注意力机制集成到残差网络架构中，以增强深度卷积神经网络的特征学习能力。
• 采用简单但有效的迁移学习方法，利用ImageNet预训练权重来稳定小样本数据集上的训练过程。
• 通过事后特征可视化分析注意力图，验证模型对相关面部动作单元的关注程度。
• 采用端到端训练方式，结合交叉熵损失函数和数据增强技术，提升模型鲁棒性。
• 利用空间压缩与通道注意力机制，突出微表情中具有判别性的面部区域。

实验结果

研究问题

• RQ1 轻量级注意力机制是否能在不显著增加模型参数的情况下提升微表情识别准确率？
• RQ2 微注意力机制在多大程度上能有效定位并聚焦于微表情中与动作单元相关的面部区域？
• RQ3 迁移学习在CASMEII、SAMM和SMIC等小样本微表情数据集中在多大程度上能缓解过拟合？
• RQ4 所提出方法在数据质量与表达时长各异的多样化数据集上是否具备良好的泛化能力？
• RQ5 注意力图与人工标注的动作单元在微表情中是否存在相关性？

主要发现

• 所提出的微注意力模型在CASMEII、SAMM和SMIC数据集上均达到最先进准确率，优于以往方法。
• 在CASMEII数据集上，模型达到93.3%的识别准确率，较之前最先进方法提升2.1个百分点。
• 在SAMM数据集上，模型达到85.7%的准确率，展现出在高度可变的真实世界数据集上的强大性能。
• 在SMIC数据集上，模型达到84.6%的准确率，表明其在不同参与者表达和录制条件下均具备鲁棒性。
• 特征可视化结果表明，微注意力机制始终聚焦于与动作单元相关的区域，如眼睛和嘴巴。
• 该方法保持了极低的参数增长，模型参数量仅比基线增加1.2%，充分证明了其高效性。