[论文解读] Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks

Panfeng Li, Mohamed Abouelenien+4 more|arXiv (Cornell University)|Nov 18, 2023

Deception detection and forensic psychology被引用 8

一句话总结

本文提出一个双模态CNN框架，联合学习语言转录与生理信号以检测欺骗，采用模态逐步训练和多数投票来应对小数据集；结果显示多模态融合通常优于单模态方法的欺骗检测。

ABSTRACT

Deception detection is gaining increasing interest due to ethical and security concerns. This paper explores the application of convolutional neural networks for the purpose of multimodal deception detection. We use a dataset built by interviewing 104 subjects about two topics, with one truthful and one falsified response from each subject about each topic. In particular, we make three main contributions. First, we extract linguistic and physiological features from this data to train and construct the neural network models. Second, we propose a fused convolutional neural network model using both modalities in order to achieve an improved overall performance. Third, we compare our new approach with earlier methods designed for multimodal deception detection. We find that our system outperforms regular classification methods; our results indicate the feasibility of using neural networks for deception detection even in the presence of limited amounts of data.

研究动机与目标

• 由于道德与安全关注而推动欺骗检测，并探索多模态神经网络作为对测谎仪与人类判断的自动化替代方案。
• 开发一个多模态架构，联合利用语言与生理特征进行欺骗分类。
• 通过模态逐步训练和多数投票来应对小数据挑战，稳定学习。
• 将双模态CNN方法与传统机器学习分类器及先前的多模态方法进行比较。
• 评估 proposed 框架的跨主题泛化能力与稳定性。

提出的方法

• 从转录文本中提取语言特征，使用 word embeddings（word2vec），并应用基于2D CNN结构的 LingCNN，其滤波器与 TextCNN 相似。
• 从记录信号中提取生理特征，使用 PCA 降维，并应用 PhysCNN，采用具有多种滤波尺寸（3、4、5）的1D CNN。
• 以模态逐步方式分别训练 LingCNN 和 PhysCNN，然后再进行融合。
• 在 BiModal CNN 中融合模态，将两个子网络的特征拼接后进行最终分类。
• 通过在多次训练运行中采用多数投票机制来处理小数据和防止过拟合，以获得鲁棒的最终预测。
• 将多模态CNN性能与常规分类器（Decision Tree、SVM、Logistic Regression）及先前报道的多模态欺骗方法进行比较。

Figure 1: BiModal CNN

实验结果

研究问题

• RQ1 一个同时处理语言与生理流的双模态CNN是否能在欺骗检测中超越单模态模型？
• RQ2 跨主题学习如何影响语言与生理模态及其融合在欺骗检测中的性能？
• RQ3 以模态逐步训练和多数投票在小数据集上是否提供稳定性与更高的准确性？
• RQ4 与传统机器学习方法及先前多模态方法相比，所提 BiModal CNN 的相对优势是什么？

主要发现

• 语言模态通常在欺骗检测中表现出较强的性能，生理特征提供了互补信息。
• BiModal CNN 在总体准确性上往往优于单模态，表明多模态融合的好处。
• 跨主题学习显示出主题相关性，语言特征比生理特征更易受主题转变影响。
• 多数投票程序在足够运行次数后（研究中约200次）提供稳定的预测。
• 与常规模型相比，所提出的 BiModal CNN 在不同主题上实现了更好的欺骗/总体准确性。

Figure 2: Deception recall, truthfulness recall, and overall accuracy percentages for individual and integrated modalities using features extracted from the “Abortion” topic