[论文解读] Advanced local motion patterns for macro and micro facial expression recognition

Benjamin Allaert, Ioan Marius Bilasco+1 more|arXiv (Cornell University)|May 4, 2018

Face recognition and analysis参考文献 42被引用 12

一句话总结

本文提出了一种新颖的局部运动模式（LMP）特征，用于捕捉时空运动一致性与皮肤弹性，以识别宏观和微观面部表情。该方法在微观表情数据集上达到最先进性能（CASME II为70.20%，SMIC为67.68%），在宏观表情数据集上也取得具有竞争力的结果（CK+为97.25%，Oulu-CASIA为84.58%），且无需数据增强，展现出对光照、姿态和强度变化的强鲁棒性。

ABSTRACT

In this paper, we develop a new method that recognizes facial expressions, on the basis of an innovative local motion patterns feature, with three main contributions. The first one is the analysis of the face skin temporal elasticity and face deformations during expression. The second one is a unified approach for both macro and micro expression recognition. And, the third one is the step forward towards in-the-wild expression recognition, dealing with challenges such as various intensity and various expression activation patterns, illumination variation and small head pose variations. Our method outperforms state-of-the-art methods for micro expression recognition and positions itself among top-rank state-of-the-art methods for macro expression recognition.

研究动机与目标

• 开发一种统一方法，用于识别在持续时间、强度和空间范围上本质不同的宏观与微观面部表情。
• 通过一种新型时空描述符建模面部运动，同时考虑皮肤弹性与局部运动一致性，以减少面部纹理与反射带来的噪声影响。
• 提升对真实世界挑战的鲁棒性，如光照变化（包括近红外）、微小头部姿态变化以及部分或低强度表情。
• 在标准基准数据集上实现高性能，且不依赖数据增强或深度学习。

提出的方法

• 该方法提出局部运动模式（LMP），一种时空特征，通过分析表达关键点周围小面部区域的时序变化来编码局部运动一致性。
• LMP通过利用局部传播与一致性来过滤运动中的不连续性，使其在高幅值宏观表情和低幅值微观表情中均表现有效。
• 该特征通过运动能量模型计算，整合了时间维度上的光流与局部强度变化，参数根据数据集进行调优以实现最佳敏感度。
• 统一框架使用相同的LMP特征处理两种表情类型，消除了为宏观与微观表情分别设计处理流程的需要。
• 该方法将LMP与几何特征结合，以增强在微小头部姿态变化和不同光照条件下的性能。
• 参数调优（λ, Δ, ρ, E, M, V, β, bin）根据数据集进行，以适应分辨率、帧率和光照等采集条件。

实验结果

研究问题

• RQ1 尽管强度与持续时间不同，统一的运动描述符是否能有效捕捉宏观与微观面部表情的动力学特征？
• RQ2 如何建模面部皮肤弹性与局部运动一致性，以减少纹理、反射与平滑度带来的噪声影响？
• RQ3 在不使用数据增强的情况下，手工设计特征如LMP在微观表情识别中能否超越深度学习方法？
• RQ4 单一基于特征的方法是否能在多样化的野外条件下实现鲁棒性能，包括光照变化与微小头部姿态变化？
• RQ5 运动特征与几何特征的融合在部分或低强度表情下如何提升识别性能？

主要发现

• 所提出的LMP方法在CASME II微观表情数据集上达到70.20%的识别准确率，优于现有最先进方法。
• 在SMIC数据集上，该方法在可见光谱下达到67.68%的准确率，在近红外模态下达到86.11%，展现出对光照变化的强鲁棒性。
• 在宏观表情识别方面，该方法在CK+上达到97.25%的准确率，在Oulu-CASIA上达到84.58%，在MMI上达到78.26%，在不使用数据增强的情况下排名前列。
• 该方法对光照变化表现出高度鲁棒性，在自然光与近红外光照条件下均表现良好。
• 统一方法成功使用单一特征同时处理两种表情类型，降低了复杂性，并提升了在多样化表情模式下的泛化能力。
• 参数设置因数据集而异，最优值位于预定义区间内（如λ ∈ [3,5]，Δ = 0.5，ρ ∈ [0.75,1]，bin ∈ [6,12]），表明其对采集条件具有良好的适应性。