[論文レビュー] The Liar's Walk: Detecting Deception with Gait and Gesture

Tanmay Randhavane, Uttaran Bhattacharya+4 more|arXiv (Cornell University)|Dec 14, 2019

Anomaly Detection Techniques and Applications参考文献 73被引用数 11

ひとこと要約

本稿では、歩行動画からの歩行とジェスチャーの手がかりを用いて、偽りの歩行を検出する深層学習アプローチを提案する。心理学的特徴、ジェスチャーのアノテーション、およびLSTMで学習された深層特徴を組み合わせた新規データセット（DeceptiveWalk）上で、本手法は88.41%の精度を達成した。これは、手作業で作成された特徴や最先端の感情/行動分類器を著しく上回った。

ABSTRACT

We present a data-driven deep neural algorithm for detecting deceptive walking behavior using nonverbal cues like gaits and gestures. We conducted an elaborate user study, where we recorded many participants performing tasks involving deceptive walking. We extract the participants' walking gaits as series of 3D poses. We annotate various gestures performed by participants during their tasks. Based on the gait and gesture data, we train an LSTM-based deep neural network to obtain deep features. Finally, we use a combination of psychology-based gait, gesture, and deep features to detect deceptive walking with an accuracy of 88.41%. This is an improvement of 10.6% over handcrafted gait and gesture features and an improvement of 4.7% and 9.2% over classifiers based on the state-of-the-art emotion and action classification algorithms, respectively. Additionally, we present a novel dataset, DeceptiveWalk, that contains gaits and gestures with their associated deception labels. To the best of our knowledge, ours is the first algorithm to detect deceptive behavior using non-verbal cues of gait and gesture.

研究の動機と目的

• 歩行やジェスチャーといった非言語的兆候を用いて、データ駆動型の偽りの歩行検出手法を開発すること。
• 顔の表情よりも意識的に制御されにくい歩行やジェスチャーを用いた偽り検出に関する研究の不足に応えること。
• 偽りの歩行をラベル付けした、新たな公開データセットDeceptiveWalkを構築すること。
• 手作業で作成された特徴や最先端の感情/行動分類モデルを上回る偽り検出の精度を向上させること。
• 実証的データ収集と分析を通じて、偽りの歩行に関連する心理的・行動的パターンを解明すること。

提案手法

• 162名の参加者が偽りの歩行と自然な歩行のタスクを実行する制御されたユーザースタディを実施した。
• 最先端の人体ポーズ推定技術を用いて、歩行動画から3次元の歩行シーケンスを抽出した。
• ポケットに手を入れる、周囲を覗き込む、顔に触れる、携帯電話を確認するなどのジェスチャーをアノテーションした。
• 心理学的特徴を計算し、偽りの兆候を示す行動的指標を捉えた。
• 3次元ポーズのシーケンスから判別的深層特徴を学習するため、LSTMベースの深層ニューラルネットワークを訓練した。
• 歩行、ジェスチャー、深層特徴を統合した一貫性のある偽り特徴表現を作成し、全結合分類器に供給して2値の偽り検出を実行した。

実験結果

リサーチクエスチョン

• RQ1 歩行やジェスチャーといった非言語的兆候が、偽りの歩行行動を信頼性高く示すことができるか？
• RQ2 心理学的特徴に基づく歩行・ジェスチャー特徴と、LSTMで学習された深層特徴は、偽り検出においてどのように比較されるか？
• RQ3 偽りの歩行者と自然な歩行者との間で、ジェスチャー（例：ポケットに手を入れる、周囲を覗き込む）にどのような差が見られるか？
• RQ4 新規データセットで訓練された深層学習モデルは、感情分類や行動分類の最先端モデルを上回る偽り検出精度を達成できるか？
• RQ5 制御された環境下で、偽りの歩行に関連する主な行動的パターンやジェスチャーの傾向は何か？

主な発見

• 提案手法は、偽りの歩行検出において88.41%の精度を達成し、手作業で作成された歩行・ジェスチャー特徴よりも10.6%の向上を示した。
• 本モデルは、感情分類アルゴリズムで4.7%、行動分類アルゴリズムで9.2%の精度向上を達成し、最先端の手法を上回った。
• 偽りの歩行者では、ポケットに手を入れる、周囲を覗き込む、顔に触れる、携帯電話を確認する確率が自然な歩行者よりも顕著に高かった。
• 自然な状態にいる参加者は、偽りの歩行者よりもシャツやジャケットに触れる頻度が高かった。これは、偽りの行動において制御された行動が見られたことを示唆している。
• 髪に触れる、手を組むといったジェスチャーのパターンは、偽りの状態と自然な状態の両方で同程度の頻度で発生しており、行動の制御や適応の可能性を示している。
• 可視化の結果、低次元空間における歩行＋ジェスチャー特徴と深層特徴が明確に分離されており、効果的な判別的学習が行われていることが示された。