[论文解读] Deepfake Caricatures: Amplifying attention to artifacts increases deepfake detection by humans and machines

Camilo Fosco, Emilie Josephs+2 more|arXiv (Cornell University)|Jun 1, 2022

Digital Media Forensic Detection被引用 4

一句话总结

本文提出 CariNet，一种以人为本的深度伪造检测框架，通过使用半监督的伪影注意力模块识别与人类相关的视频伪影，并生成‘深度伪造漫画’——即对深度伪造进行视觉夸张的版本，以增强失真效果。这些漫画在极短暴露时间及不同参与度水平下，将人类检测准确率提升高达40%，显著提升了实时检测性能，且无需依赖基于文本的警报。

ABSTRACT

Deepfakes can fuel online misinformation. As deepfakes get harder to recognize with the naked eye, human users become more reliant on deepfake detection models to help them decide whether a video is real or fake. Currently, models yield a prediction for a video's authenticity, but do not integrate a method for alerting a human user. We introduce a framework for amplifying artifacts in deepfake videos to make them more detectable by people. We propose a novel, semi-supervised Artifact Attention module, which is trained on human responses to create attention maps that highlight video artifacts, and magnify them to create a novel visual indicator we call "Deepfake Caricatures". In a user study, we demonstrate that Caricatures greatly increase human detection, across video presentation times and user engagement levels. We also introduce a deepfake detection model that incorporates the Artifact Attention module to increase its accuracy and robustness. Overall, we demonstrate the success of a human-centered approach to designing deepfake mitigation methods.

研究动机与目标

• 解决深度伪造日益增长的威胁，即尽管机器模型检测准确率高，但仍能逃避人类识别。
• 通过机器辅助放大，使视觉伪影更显眼，从而提升人类对深度伪造的检测能力。
• 设计一种将人类感知与AI检测相结合的决策辅助工具，超越基于文本的警报。
• 评估视觉伪影夸张（漫画）是否能提升在不同用户参与度水平和暴露时长下的检测效果。
• 构建一个稳健的、以人为本的深度伪造检测系统，使其在生成技术不断演进的情况下仍保持有效性。

提出的方法

• 使用人类反应和模型预测联合训练伪影注意力模块，生成突出显示深度伪造视频中感知相关伪影的注意力图。
• 通过注意力图，漫画生成模块对视频进行失真处理，放大不自然的动作和面部不一致。
• 该框架将深度伪造检测器与伪影注意力模块结合，通过人类监督的伪影定位，使检测准确率提升5%以上。
• 该方法生成‘深度伪造漫画’——即对伪影进行视觉夸张的转换视频，以增强可检测性。
• 通过用户研究，在不同暴露时间（300ms 至 5s）和参与度水平下，比较标准深度伪造与漫画版本的检测表现。
• 通过统计分析评估不同条件下检测准确率的差异，显著性检验采用重复测量方差分析（ANOVA）和Bonferroni校正。

实验结果

研究问题

• RQ1 通过机器生成的漫画对深度伪造中的视觉伪影进行放大，是否能显著提升人类检测准确率？
• RQ2 漫画的有效性是否随暴露时间和用户参与度水平而变化？
• RQ3 基于人类反应训练的半监督注意力机制是否能提升深度伪造检测性能？
• RQ4 在不同视频呈现时长下，人类观察者对标准深度伪造与漫画增强版本的检测表现有何差异？
• RQ5 与基于文本的模型预测相比，视觉伪影放大是否能作为更有效的决策辅助工具？

主要发现

• 在300ms暴露时间下，深度伪造漫画使人类检测准确率提升14个百分点，而在5秒时提升高达43个百分点，显著优于标准深度伪造。
• 即使在300ms暴露时间下，漫画仍使检测准确率超过随机水平（50%），而标准深度伪造的检测准确率与随机无异。
• 在所有测试时间点，漫画的检测优势均具有统计显著性（Bonferroni校正后 p < 0.0083）。
• 漫画在所有参与度水平下均提升了检测表现，即使在低参与度参与者中也观察到显著改善。
• 伪影注意力模块通过聚焦于与人类相关的伪影，使深度伪造检测器的准确率提升5%以上。
• 发现暴露时间与条件之间存在显著交互效应（F(10,1630) = 8.88, p < 0.001），证实漫画在时间压力下尤其有效。