[論文レビュー] Deception Detection in Videos using the Facial Action Coding System

Hammad Ahmed, Usama Ijaz Bajwa+2 more|arXiv (Cornell University)|May 28, 2021

Deception detection and forensic psychology参考文献 12被引用数 10

ひとこと要約

本稿では、顔面の動きの単位（AUs）を顔面行動コード化システム（FACS）を用いて抽出し、動画データ上で長短期記憶（LSTM）ネットワークで学習させた、かくしん検出システムを提案する。モデルは顔面のみのかくしん検出において優れた性能を示すが、実生活の裁判、シレジアのかくしん、Bag-of-liesのデータセット間でのクロスデータセット学習では、データセットの分布の違いにより精度が低下する。

ABSTRACT

Facts are important in decision making in every situation, which is why it is important to catch deceptive information before they are accepted as facts. Deception detection in videos has gained traction in recent times for its various real-life application. In our approach, we extract facial action units using the facial action coding system which we use as parameters for training a deep learning model. We specifically use long short-term memory (LSTM) which we trained using the real-life trial dataset and it provided one of the best facial only approaches to deception detection. We also tested cross-dataset validation using the Real-life trial dataset, the Silesian Deception Dataset, and the Bag-of-lies Deception Dataset which has not yet been attempted by anyone else for a deception detection system. We tested and compared all datasets amongst each other individually and collectively using the same deep learning training model. The results show that adding different datasets for training worsen the accuracy of the model. One of the primary reasons is that the nature of these datasets vastly differs from one another.

研究の動機と目的

• 顔面行動コード化システム（FACS）から得られる顔面の動きの単位（AUs）を用いた、顔面のみのかくしん検出システムの開発。
• 実生活のかくしん動画データで学習されたLSTMベースの深層学習モデルの性能評価。
• 実生活の裁判、シレジアのかくしん、Bag-of-liesの3つのかくしんデータセットを統合して学習させた場合の、モデルの汎化性能と精度への影響の調査。
• データ分布の固有の違いに起因する、かくしん検出におけるクロスデータセット検証の課題の分析。

提案手法

• 顔面行動コード化システム（FACS）を用いて、動画フレームから顔面の動きの単位（AUs）を抽出する。FACSは顔の筋肉の動きを標準化された方法でラベル付ける手法である。
• 長短期記憶（LSTM）再帰ニューラルネットワークを、かくしん行動の時間的ダイナミクスをモデル化するために、AUsの系列データで学習する。
• モデルは、自然に発生したかくしんと真実の動画記録を含む、実生活の裁判データセットで学習および検証する。
• クロスデータセット検証として、1つのデータセットで学習し、他のデータセット（シレジアのかくしんおよびBag-of-lies）でテストする。これらのデータセットは、従来のかくしん検出システムでは一度に統合されていない。
• すべてのデータセットで同一のLSTMアーキテクチャを用い、一貫性のある比較を実現する。性能は分類精度で測定する。
• データ拡張および正規化技術を適用し、多様なデータセット間で一貫した入力表現を確保する。

実験結果

リサーチクエスチョン

• RQ1 実生活の裁判データセットから得た顔面の動きの単位（AUs）で学習したLSTMベースのモデルは、かくしん検出において高い精度を達成できるか？
• RQ2 実生活の裁判、シレジアのかくしん、Bag-of-liesの3つのデータセット間でのクロスデータセット学習が、モデル性能にどのように影響するか？
• RQ3 複数のかくしんデータセットを統合して学習させた場合の性能低下の主な原因は何か？
• RQ4 かくしんデータセット間の分布の違いが、モデルの汎化性能をどの程度阻害するか？

主な発見

• 実生活の裁判データセットで学習したLSTMモデルは、顔面のみのかくしん検出アプローチの中で最も高い性能の結果を達成している。
• 特に実生活の裁判、シレジアのかくしん、Bag-of-liesの3つのデータセットを統合して学習させた場合、モデルの精度が顕著に低下する。
• 性能低下の主な要因は、被験者の人口統計的特徴、記録条件、かくしんの種類に差異を示す、顕著なデータ分布の違いにある。
• 個別のデータセット評価では一貫した性能を示すが、統合的学習では汎化が失敗しており、ドメインシフトの問題が顕在化している。
• 本研究は、かくしん検出におけるデータセットの異質性の課題を浮き彫りにし、今後の研究ではドメイン適応やデータアライメント技術の開発が重要であると示唆している。
• これまでに、これらの3つのデータセットを1つのかくしん検出フレームワークで統合してテストした先行研究は存在せず、本研究はクロスデータセット検証において画期的な貢献を果たしている。