[论文解读] Deception Detection in Videos

Zhe Wu, Bharat Singh+2 more|arXiv (Cornell University)|Dec 12, 2017

Deception detection and forensic psychology参考文献 18被引用 8

一句话总结

本论文提出了一种完全自动化的多模态系统，用于在法庭视频中检测隐蔽的欺骗行为，该系统结合视觉、音频和文本特征。通过融合基于视频的低层次IDT特征与高层次的微表情预测结果，以及MFCC音频特征，该系统在未见过的受试者上实现了0.877的AUC，比最先进方法高出5%，当结合真实微表情标注时，AUC进一步提升至0.922。

ABSTRACT

We present a system for covert automated deception detection in real-life courtroom trial videos. We study the importance of different modalities like vision, audio and text for this task. On the vision side, our system uses classifiers trained on low level video features which predict human micro-expressions. We show that predictions of high-level micro-expressions can be used as features for deception prediction. Surprisingly, IDT (Improved Dense Trajectory) features which have been widely used for action recognition, are also very good at predicting deception in videos. We fuse the score of classifiers trained on IDT features and high-level micro-expressions to improve performance. MFCC (Mel-frequency Cepstral Coefficients) features from the audio domain also provide a significant boost in performance, while information from transcripts is not very beneficial for our system. Using various classifiers, our automated system obtains an AUC of 0.877 (10-fold cross-validation) when evaluated on subjects which were not part of the training set. Even though state-of-the-art methods use human annotations of micro-expressions for deception detection, our fully automated approach outperforms them by 5%. When combined with human annotations of micro-expressions, our AUC improves to 0.922. We also present results of a user-study to analyze how well do average humans perform on this task, what modalities they use for deception detection and how they perform if only one modality is accessible. Our project page can be found at \url{https://doubaibai.github.io/DARE/}.

研究动机与目标

• 开发一种完全自动化的隐蔽系统，用于在不依赖人工标注的情况下检测真实法庭视频中的欺骗行为。
• 研究视觉、音频和文本模态对欺骗检测性能的相对贡献。
• 评估人类与自动化系统在不同模态下欺骗检测性能的差距。
• 了解人类在进行欺骗判断时主要依赖哪些模态，以及当仅使用单一模态时性能如何变化。
• 探索人机混合系统在提升欺骗检测准确率方面的潜力。

提出的方法

• 系统使用基于改进密集轨迹（IDT）的低层次视频特征，以捕捉运动动态并检测微表情。
• 通过在低层次特征上训练分类器来执行高层次的微表情检测，其置信度分数被用作更高层次的特征。
• 使用梅尔频率倒谱系数（MFCCs）提取音频特征，显著提升了欺骗检测性能。
• 从语音转录文本中提取基于转录的特征（文本特征），但对系统性能的提升微乎其微。
• 采用晚期融合策略，通过线性SVM结合视觉、音频和文本分类器的预测结果，实现最终的欺骗预测。
• 通过Amazon Mechanical Turk（AMT）用户研究评估人类表现，分别进行完整、仅视觉、仅音频和仅转录文本模态的独立测试。

实验结果

研究问题

• RQ1 仅使用视频和音频特征的全自动系统在真实法庭视频中的欺骗检测效果如何？
• RQ2 在非受限视频环境下，视觉、音频和文本模态对欺骗检测性能的相对贡献是什么？
• RQ3 当使用不同模态进行欺骗检测时，普通人类的表现与自动化系统相比如何？
• RQ4 自动化模型生成的高层次微表情预测是否能超越人类标注在欺骗检测任务中的表现？
• RQ5 人类在判断欺骗时主要依赖哪些模态？当仅使用单一模态时，性能如何下降？

主要发现

• 该自动化系统仅使用视频和音频特征即实现了0.877的AUC，比最先进方法高出5%，且无需人工标注的微表情。
• 当结合真实微表情标注时，系统AUC达到0.922，相比先前工作提升了9%。
• 人类在完整多模态任务中的表现AUC为0.8102，表明该数据集对人类判断具有挑战性但并非无法应对。
• 人类在判断中主要依赖转录文本（70.7%的时间），其次是视觉（67.4%）和音频（61.3%）线索，尽管音频对人类欺骗检测最为有效。
• 仅使用视觉模态时，自动化系统显著优于人类（AUC 0.877 vs. 约0.65），凸显了系统在检测微表情方面的卓越能力。
• 转录文本对人类和自动化系统均带来极小的性能增益，而音频特征对人类决策极为有效，表明韵律线索对人类欺骗检测至关重要。