[论文解读] Automatic Recognition of Deceptive Facial Expressions of Emotion.

Ikechukwu Ofodile, Kaustubh Kulkarni+6 more|arXiv (Cornell University)|Jul 13, 2017

Deception detection and forensic psychology参考文献 3被引用 27

一句话总结

本文提出了SASE-FE，这是首个用于自动识别的真正与欺骗性面部表情数据集。该方法通过在深度特征空间中沿标志点轨迹聚合特征，学习时空表征，成功检测出欺骗性表情。研究发现，欺骗性表情比真实表情更难区分，且某些情绪对的分类更具挑战性。

ABSTRACT

Humans modify facial expressions in order to mislead observers regarding their true emotional states. Being able to recognize the authenticity of emotional displays is notoriously difficult for human observers. Evidence in experimental psychology shows that discriminative facial responses are short and subtle. This suggests that such behavior would be easier to distinguish when captured in high resolution at an increased frame rate. We are proposing SASE-FE, the first dataset of genuine and deceptive facial expressions of emotions for automatic recognition. We show that overall the problem of recognizing deceptive facial expressions can be successfully addressed by learning spatio-temporal representations of the data. For this purpose, we propose a method that aggregates features along fiducial trajectories in a deeply learnt feature space. Interesting additional results show that on average it is easier to distinguish among genuine expressions than deceptive ones and that certain emotion pairs are more difficult to distinguish than others.

研究动机与目标

• 为解决欺骗性面部表情识别的挑战，因其细微且短暂，人类难以察觉。
• 提出一种基于数据驱动的方法，利用高分辨率、高帧率视频数据，自动识别面部表情中的欺骗行为。
• 创建一个新的基准数据集SASE-FE，包含用于情感计算研究的真正与欺骗性面部表情。
• 研究在不同情绪之间区分真正与欺骗性表情的相对难度。
• 评估对人脸动态进行时空建模是否能提升识别性能，相较于静态或仅时间维度的方法。

提出的方法

• 提出一种深度学习框架，从高分辨率、高帧率的面部表情视频序列中提取特征。
• 利用标志点定义随时间变化的轨迹，捕捉与欺骗相关的动态面部运动。
• 在这些标志点轨迹上应用特征聚合，以建模深度特征空间中的时空模式。
• 通过端到端学习优化表征，以区分真正与欺骗性情绪表达。
• 通过特征聚合机制隐式采用类孪生或对比学习策略，以增强可分性。
• 在新提出的SASE-FE数据集上训练模型，学习欺骗行为的判别性表征。

实验结果

研究问题

• RQ1 从高分辨率、高帧率的人脸视频中学习的时空表征，能否有效区分欺骗性与真正的情绪表达？
• RQ2 欺骗性表情的识别性能是否显著低于真正表情，表明欺骗检测本身存在固有难度？
• RQ3 是否存在某些情绪对更难正确分类，表明欺骗性表情中存在固有模糊性？
• RQ4 在标志点轨迹上聚合特征是否相比其他特征提取方法能显著提升欺骗性面部表情的检测效果？
• RQ5 所提方法在新SASE-FE数据集上的性能与基线模型相比如何？

主要发现

• 所提方法通过从高分辨率视频数据中学习判别性时空表征，成功识别欺骗性面部表情。
• 平均而言，区分真正表情比欺骗表情更容易，表明欺骗在面部动态中引入了更大的模糊性。
• 某些情绪对比其他情绪对更难区分，表明某些情绪更容易被欺骗性操纵或更易混淆。
• 在深度特征空间中基于标志点轨迹的特征聚合方法，显著提升了识别性能，优于简单基线方法。
• SASE-FE数据集为自动欺骗检测研究提供了新基准，支持未来方法的可重现评估。
• 结果表明，高时间分辨率和详细的人脸运动建模对于检测细微欺骗线索至关重要。