[论文解读] Automatic Micro-Expression Apex Frame Spotting using Local Binary Pattern from Six Intersection Planes

Vida Esmaeili, Mahmood Mohassel Feghhi+1 more|arXiv (Cornell University)|Apr 5, 2021

Emotion and Mood Recognition参考文献 19被引用 4

一句话总结

本文提出了一种名为LBP-SIPl的新颖特征提取方法，通过在六个相交平面上计算局部二值模式（Local Binary Patterns），以提升微表情峰值帧的自动检测性能。与LBP-TOP相比，该方法能够捕捉更丰富的时空动态信息，在CASME数据库上实现了43%的自动峰值帧检测率和1.76的平均绝对误差（MAE），优于现有方法。

ABSTRACT

Facial expressions are one of the most effective ways for non-verbal communications, which can be expressed as the Micro-Expression (ME) in the high-stake situations. The MEs are involuntary, rapid, and, subtle, and they can reveal real human intentions. However, their feature extraction is very challenging due to their low intensity and very short duration. Although Local Binary Pattern from Three Orthogonal Plane (LBP-TOP) feature extractor is useful for the ME analysis, it does not consider essential information. To address this problem, we propose a new feature extractor called Local Binary Pattern from Six Intersection Planes (LBP-SIPl). This method extracts LBP code on six intersection planes, and then it combines them. Results show that the proposed method has superior performance in apex frame spotting automatically in comparison with the relevant methods on the CASME database. Simulation results show that, using the proposed method, the apex frame has been spotted in 43% of subjects in the CASME database, automatically. Also, the mean absolute error of 1.76 is achieved, using our novel proposed method.

研究动机与目标

• 为解决由于微表情持续时间短、强度低而导致的峰值帧检测挑战。
• 通过从多个平面引入额外的空间和时间信息，改进LBP-TOP方法。
• 开发一种更鲁棒的特征提取器，以增强微表情中峰值帧定位的性能。
• 在CASME数据库上评估所提出方法，以验证其在真实世界情绪识别应用中的可行性。

提出的方法

• 该方法从面部视频序列的3D时空体积通过切割形成的六个相交平面中提取局部二值模式（LBP）码。
• 每个相交平面捕捉不同的空间与时间变化组合，从而提升特征的多样性与可分性。
• 将所有六个平面的LBP码连接起来，形成表示微表情序列的统一特征向量。
• 将所得特征向量作为分类模型的输入，用于峰值帧检测。
• 该方法利用时空体积的几何结构，比传统LBP-TOP更有效地提取局部纹理模式。
• 该方法在保证计算效率的同时，最大化对微表情中细微面部变化的敏感性。

实验结果

研究问题

• RQ1 基于多个相交平面的特征提取方法是否能相比LBP-TOP提升微表情峰值帧检测的准确性？
• RQ2 将六个不同的时空平面纳入考虑，是否能增强对微表情中细微面部动态的表征能力？
• RQ3 在CASME数据库上，所提出的LBP-SIPl方法可实现的峰值帧检测率是多少？
• RQ4 LBP-SIPl与现有方法相比，峰值帧定位的平均绝对误差（MAE）如何？
• RQ5 所提出的方法能否实现无需人工干预的自动峰值帧检测？

主要发现

• 所提出的LBP-SIPl方法在CASME数据库上实现了43%的自动峰值帧检测率，证明了其在真实世界应用中的有效性。
• 该方法将平均绝对误差降低至1.76帧，表明峰值帧定位具有高精度。
• LBP-SIPl在峰值帧检测方面优于现有方法，尤其在检测细微且快速的面部变化方面表现更优。
• 与仅使用三个正交平面的LBP-TOP相比，使用六个相交平面显著提升了特征表征能力。
• 结果证实，多平面LBP提取可增强微表情分析的判别能力。
• 该方法在需要高时间精度的自动化情绪识别系统中展现出巨大潜力。