[論文レビュー] Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks

Panfeng Li, Mohamed Abouelenien+4 more|arXiv (Cornell University)|Nov 18, 2023

Deception detection and forensic psychology被引用数 8

ひとこと要約

この論文は、言語的転記と生理信号を同時に学習する二模態CNNフレームワークを提案し、小規模データセットに対処するためモダリティ別訓練と多数決投票を用いて欺瞞検出を行う。結果は、マルチモーダル融合が一般に単一モダリティ手法より欺瞞検出を改善することを示す。

ABSTRACT

Deception detection is gaining increasing interest due to ethical and security concerns. This paper explores the application of convolutional neural networks for the purpose of multimodal deception detection. We use a dataset built by interviewing 104 subjects about two topics, with one truthful and one falsified response from each subject about each topic. In particular, we make three main contributions. First, we extract linguistic and physiological features from this data to train and construct the neural network models. Second, we propose a fused convolutional neural network model using both modalities in order to achieve an improved overall performance. Third, we compare our new approach with earlier methods designed for multimodal deception detection. We find that our system outperforms regular classification methods; our results indicate the feasibility of using neural networks for deception detection even in the presence of limited amounts of data.

研究の動機と目的

• 倫理・セキュリティ上の懸念から欺瞞検出を動機づけ、ポリグラフや人間判断の自動的代替としてのマルチモーダルニューラルネットワークを探る。
• 欺瞞分類のために言語特徴と生理特徴を jointlyleveragesしたマルチモーダルアーキテクチャを開発する。
• モダリティ別訓練と多数決投票で小データの課題に対処し、学習を安定化させる。
• BiModal CNNアプローチを従来の機械学習分類器や以前のマルチモーダル手法と比較する。
• 提案フレームワークのトピック横断一般化と安定性を評価する。

提案手法

• 文字起こしから語彙特徴を抽出するためword embeddings(word2vec)を用い、TextCNNに類似した2D CNN構造のLingCNNを適用する。
• 記録信号から生理特徴を抽出し、PCAで次元削減を行い、3,4,5の複数のフィルターサイズを持つ1D CNNを用いるPhysCNNを適用する。
• 融合前にLingCNNとPhysCNNをモダリティ別に個別訓練する。
• 両サブネットの特徴を結合して最終分類を行うBiModal CNNでモダリティを融合する。
• 多数決投票方式を用いて複数回の学習実行を通じてロバストな最終予測を得ることで、小データと過学習に対処する。
• マルチモーダルCNNの性能を従来の分類器（Decision Tree、SVM、Logistic Regression）および前に報告されたマルチモーダル欺瞞手法と比較する。

Figure 1: BiModal CNN

実験結果

リサーチクエスチョン

• RQ1 言語的ストリームと生理的ストリームを同時に処理する二模態CNNは、単一模態モデルより欺瞞検出で上回ることができるか？
• RQ2 横断的トピック学習は、言語特徴と生理特徴、そしてそれらの融合の欺瞞検出性能にどう影響するか？
• RQ3 モダリティ別訓練戦略と多数決投票は、小規模データセットで安定性と精度を改善するか？
• RQ4 提案するBiModal CNNは従来の機械学習法や過去のマルチモーダル手法に対してどのような利点があるか？

主な発見

• 言語モダリティは一般的に強い欺瞞検出性能を示し、生理特徴は補足情報を提供する。
• BiModal CNNは個別モダリティより全体の精度を向上させることが多く、マルチモーダル融合の利点を示す。
• 横断的トピック学習はトピック依存性を示し、言語特徴はトピック移動により生理特徴より影響を受けやすい。
• 多数決手順は十分な実行時間（本研究では約200回）で安定した予測を提供する。
• 従来モデルと比較して、提案手法のBiModal CNNはトピックを跨いだ欺瞞/全体精度でより良い結果を達成した。

Figure 2: Deception recall, truthfulness recall, and overall accuracy percentages for individual and integrated modalities using features extracted from the “Abortion” topic