[论文解读] The Liar's Walk: Detecting Deception with Gait and Gesture

Tanmay Randhavane, Uttaran Bhattacharya+4 more|arXiv (Cornell University)|Dec 14, 2019

Anomaly Detection Techniques and Applications参考文献 73被引用 11

一句话总结

该论文提出了一种深度学习方法，通过行走视频中的步态和手势线索检测欺骗性行走。通过在新数据集（DeceptiveWalk）上结合基于心理学的特征、手势标注以及LSTM学习的深度特征，该方法实现了88.41%的准确率，显著优于手工设计的特征和当前最先进的表情/动作分类器。

ABSTRACT

We present a data-driven deep neural algorithm for detecting deceptive walking behavior using nonverbal cues like gaits and gestures. We conducted an elaborate user study, where we recorded many participants performing tasks involving deceptive walking. We extract the participants' walking gaits as series of 3D poses. We annotate various gestures performed by participants during their tasks. Based on the gait and gesture data, we train an LSTM-based deep neural network to obtain deep features. Finally, we use a combination of psychology-based gait, gesture, and deep features to detect deceptive walking with an accuracy of 88.41%. This is an improvement of 10.6% over handcrafted gait and gesture features and an improvement of 4.7% and 9.2% over classifiers based on the state-of-the-art emotion and action classification algorithms, respectively. Additionally, we present a novel dataset, DeceptiveWalk, that contains gaits and gestures with their associated deception labels. To the best of our knowledge, ours is the first algorithm to detect deceptive behavior using non-verbal cues of gait and gesture.

研究动机与目标

• 开发一种基于数据驱动的方法，利用步态和手势等非语言线索检测欺骗性行走。
• 解决利用步态和手势进行欺骗检测的研究不足问题，因为这些行为比面部表情更少受到意识控制。
• 创建一个全新的公开数据集DeceptiveWalk，包含标注的步态和手势，并标记为欺骗行为。
• 在准确率上超越手工设计的特征和当前最先进的表情/动作分类模型，提升欺骗检测性能。
• 通过实证数据采集与分析，探索与欺骗性行走相关的心理和行为模式。

提出的方法

• 开展了一项受控的用户研究，招募162名参与者完成欺骗性行走和自然行走任务。
• 使用最先进的姿态估计技术从行走视频中提取3D步态序列。
• 标注行走过程中执行的手势，包括插手入兜、环顾四周、触摸面部和查看手机等。
• 计算基于心理学的步态和手势特征，以捕捉欺骗行为的潜在指标。
• 训练基于LSTM的深度神经网络，从3D姿态序列中学习判别性深度特征。
• 将步态、手势和深度特征融合为统一的欺骗特征表示，输入全连接分类器进行二元欺骗检测。

实验结果

研究问题

• RQ1 非语言线索（如步态和手势）是否能可靠地指示欺骗性行走行为？
• RQ2 基于心理学的步态和手势特征与通过LSTM学习的深度特征在欺骗检测中的表现如何比较？
• RQ3 欺骗性行走者在手势（如插手入兜、环顾四周）方面与自然行走者有何显著差异？
• RQ4 在新型数据集上训练的深度学习模型是否能在欺骗检测中超越现有最先进的表情和动作分类模型？
• RQ5 在受控环境中，欺骗性行走相关的关键行为模式和手势趋势是什么？

主要发现

• 所提方法在欺骗性行走检测中达到88.41%的准确率，相比手工设计的步态和手势特征提高了10.6%。
• 该模型在欺骗检测准确率上比最先进的表情分类算法高出4.7%，比动作分类算法高出9.2%。
• 欺骗者比自然行走者更可能将手插入衣兜、四处张望、触摸面部或查看手机。
• 自然行走条件下的参与者比欺骗者更频繁地触摸自己的衬衫或外套，表明欺骗行为中存在更强的自我控制。
• 如梳理头发和双手交叉等手势在欺骗和自然条件下发生频率相近，表明可能存在行为控制或适应机制。
• 可视化结果显示，融合的步态+手势特征与深度特征在低维空间中实现良好分离，表明模型具备有效的判别性学习能力。