[论文解读] Deception Detection in Videos using the Facial Action Coding System

Hammad Ahmed, Usama Ijaz Bajwa+2 more|arXiv (Cornell University)|May 28, 2021

Deception detection and forensic psychology参考文献 12被引用 10

一句话总结

本文提出一种基于面部动作单元（AUs）的欺骗检测系统，AUs通过面部动作编码系统（FACS）提取，并使用长短期记忆（LSTM）网络在视频数据上进行训练。该模型在仅基于面部的欺骗检测中表现优异，但跨数据集训练（涵盖真实生活审判、西里西亚欺骗和袋子谎言数据集）由于数据分布差异导致准确率下降。

ABSTRACT

Facts are important in decision making in every situation, which is why it is important to catch deceptive information before they are accepted as facts. Deception detection in videos has gained traction in recent times for its various real-life application. In our approach, we extract facial action units using the facial action coding system which we use as parameters for training a deep learning model. We specifically use long short-term memory (LSTM) which we trained using the real-life trial dataset and it provided one of the best facial only approaches to deception detection. We also tested cross-dataset validation using the Real-life trial dataset, the Silesian Deception Dataset, and the Bag-of-lies Deception Dataset which has not yet been attempted by anyone else for a deception detection system. We tested and compared all datasets amongst each other individually and collectively using the same deep learning training model. The results show that adding different datasets for training worsen the accuracy of the model. One of the primary reasons is that the nature of these datasets vastly differs from one another.

研究动机与目标

• 开发一种仅基于面部的欺骗检测系统，利用面部动作编码系统（FACS）提取的面部动作单元（AUs）。
• 评估基于LSTM的深度学习模型在真实生活欺骗视频数据上训练后的性能。
• 研究将多个欺骗数据集——真实生活审判、西里西亚欺骗和袋子谎言——结合对模型泛化能力和准确率的影响。
• 分析由于数据分布固有差异，跨数据集验证在欺骗检测中面临的挑战。

提出的方法

• 使用面部动作编码系统（FACS）从视频帧中提取面部动作单元（AUs），FACS是一种标准化的面部肌肉运动标注方法。
• 使用LSTM循环神经网络对AUs序列进行训练，以建模欺骗行为的时间动态特性。
• 在真实生活审判数据集上进行模型训练与验证，该数据集包含自然发生的欺骗与真实视频记录。
• 通过在某一数据集上训练并在其他数据集上测试，执行跨数据集验证，包括未在以往欺骗检测系统中合并过的西里西亚欺骗和袋子谎言数据集。
• 所有数据集均使用相同的LSTM架构以确保一致比较，性能通过分类准确率进行衡量。
• 应用数据增强和归一化技术，以确保在多样化数据集间输入表示的一致性。

实验结果

研究问题

• RQ1 基于真实生活审判数据集提取的面部动作单元（AUs）的LSTM模型能否在欺骗检测中实现高准确率？
• RQ2 在真实生活审判、西里西亚欺骗和袋子谎言数据集之间进行跨数据集训练如何影响模型性能？
• RQ3 将多个欺骗数据集联合训练导致性能下降的主要原因是什么？
• RQ4 欺骗数据集之间的分布差异在多大程度上阻碍了模型的泛化能力？

主要发现

• 在真实生活审判数据集上训练的LSTM模型，在仅基于面部的欺骗检测方法中达到了最佳性能之一。
• 跨数据集训练，特别是将真实生活审判、西里西亚欺骗和袋子谎言数据集联合训练，导致模型准确率显著下降。
• 性能下降的主要原因是各数据集之间存在显著的分布差异，包括受试者人口统计特征、录制条件和欺骗类型的不同。
• 单个数据集上的评估结果表现一致，但联合训练无法实现泛化，表明存在领域偏移问题。
• 本研究凸显了欺骗检测中数据集异质性的挑战，提示未来工作应聚焦于领域自适应或数据对齐技术。
• 此前尚无研究在单一欺骗检测框架中测试过这三个数据集的组合，因此本研究在跨数据集验证方面具有创新性贡献。