[论文解读] Can lies be faked? Comparing low-stakes and high-stakes deception video datasets from a Machine Learning perspective

Mateus Karvat Camara, Adriana Postal+2 more|arXiv (Cornell University)|Nov 23, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本研究调查了在低风险欺骗视频（例如游戏节目中的视频）上训练的机器学习模型，是否能有效检测高风险谎言（例如真实法庭审判中的谎言）。采用基于Slowfast的深度学习模型，实验表明，使用低风险数据训练的网络在分类高风险欺骗时，表现优于使用高风险数据训练的模型，这表明尽管谎言类型在概念上存在差异，低风险数据仍可能适用于训练现实世界中的欺骗检测系统。

ABSTRACT

Despite the great impact of lies in human societies and a meager 54% human accuracy for Deception Detection (DD), Machine Learning systems that perform automated DD are still not viable for proper application in real-life settings due to data scarcity. Few publicly available DD datasets exist and the creation of new datasets is hindered by the conceptual distinction between low-stakes and high-stakes lies. Theoretically, the two kinds of lies are so distinct that a dataset of one kind could not be used for applications for the other kind. Even though it is easier to acquire data on low-stakes deception since it can be simulated (faked) in controlled settings, these lies do not hold the same significance or depth as genuine high-stakes lies, which are much harder to obtain and hold the practical interest of automated DD systems. To investigate whether this distinction holds true from a practical perspective, we design several experiments comparing a high-stakes DD dataset and a low-stakes DD dataset evaluating their results on a Deep Learning classifier working exclusively from video data. In our experiments, a network trained in low-stakes lies had better accuracy classifying high-stakes deception than low-stakes, although using low-stakes lies as an augmentation strategy for the high-stakes dataset decreased its accuracy.

研究动机与目标

• 从机器学习的角度评估低风险与高风险欺骗之间的概念差异在实践中是否成立。
• 评估是否可以使用低风险欺骗数据集来训练高风险欺骗检测模型。
• 研究低风险谎言作为高风险欺骗数据集的数据增强策略的有效性。
• 对比两个公开的基于视频的欺骗数据集（真实法庭审判，高风险；谎言之盒，低风险）中的模型性能。
• 为未来大规模欺骗检测数据集的创建提供实证依据，尤其是在该领域数据稀缺的背景下。

提出的方法

• 采用基于Slowfast的卷积神经网络架构进行基于视频的二元欺骗分类，仅关注视觉特征。
• 实验使用了两个公开数据集：真实法庭审判（RLT），来自真实法庭审判的高风险数据集；谎言之盒（BoL），来自游戏节目的低风险数据集。
• 模型在每个数据集上独立进行训练和测试，同时在交叉训练和数据增强设置下进行实验。
• 通过在多种实验配置下对真实与欺骗视频的二元分类准确率进行评估，衡量性能表现。
• 研究比较了在低风险数据上训练并在高风险数据上测试，以及反向操作的结果，以评估模型的可迁移性。
• 统计分析聚焦于比较不同训练与测试组合下的准确率，以评估泛化能力及数据增强的影响。

实验结果

研究问题

• RQ1 在低风险欺骗数据上训练的机器学习模型，能否有效分类高风险谎言？
• RQ2 将低风险欺骗数据用作数据增强策略，是否能提升高风险欺骗检测的性能？
• RQ3 在高风险与低风险欺骗数据集上训练的模型之间，是否存在显著的性能差异？
• RQ4 在高风险欺骗数据上训练的模型，能否泛化到低风险欺骗场景？
• RQ5 数据集之间的语义或偶然性差异（例如偏差、数据量）是否解释了性能差异，还是这种差异源于谎言本身的性质？

主要发现

• 在低风险欺骗数据（谎言之盒）上训练的模型，在分类高风险欺骗（真实法庭审判）时达到58.64%的准确率，优于在高风险数据上训练的模型在相同测试集上的表现。
• 仅在高风险欺骗数据（真实法庭审判）上训练的模型，在低风险欺骗数据上测试时准确率为55.92%，低于人类基线准确率54%。
• 将高风险与低风险数据合并为单一训练集，其性能反而劣于单独使用高风险数据集，表明可能存在由领域偏移引起的负面干扰。
• 将高风险欺骗数据（真实法庭审判）用作数据增强策略，显著提升了在低风险欺骗数据上的性能，准确率从55.92%提升至62.87%。
• 在低风险数据上训练的模型在高风险数据上的准确率（58.64%）高于在高风险数据上训练的模型在低风险数据上的准确率（55.92%），表明低风险数据可能对高风险检测更具信息量。
• 尽管在概念上存在低风险与高风险谎言的区分，但结果表明，低风险欺骗数据可被有效利用以提升高风险欺骗检测性能，挑战了此类数据在本质上不兼容的假设。