[论文解读] Neural Deepfake Detection with Factual Structure of Text

Wanjun Zhong, Duyu Tang+6 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 24被引用 4

一句话总结

本文提出FAST，一种基于图的深度伪造检测模型，通过图神经网络利用文本的事实结构（以实体图表示）来增强句子和文档表征。实验表明，该模型在新闻风格和网络文本风格的深度伪造数据集上显著优于基于RoBERTa的基线模型，能够捕捉人类与机器生成文本之间在事实结构上的不一致。

ABSTRACT

Deepfake detection, the task of automatically discriminating machine-generated text, is increasingly critical with recent advances in natural language generative models. Existing approaches to deepfake detection typically represent documents with coarse-grained representations. However, they struggle to capture factual structures of documents, which is a discriminative factor between machine-generated and human-written text according to our statistical analysis. To address this, we propose a graph-based model that utilizes the factual structure of a document for deepfake detection of text. Our approach represents the factual structure of a given document as an entity graph, which is further utilized to learn sentence representations with a graph neural network. Sentence representations are then composed to a document representation for making predictions, where consistent relations between neighboring sentences are sequentially modeled. Results of experiments on two public deepfake datasets show that our approach significantly improves strong base models built with RoBERTa. Model analysis further indicates that our model can distinguish the difference in the factual structure between machine-generated text and human-written text.

研究动机与目标

• 解决现有深度伪造检测模型依赖粗粒度表征、无法捕捉文本中细粒度事实结构的局限性。
• 探究事实结构不一致性（如实体和句子的一致性异常）是否可作为区分人类撰写与机器生成文本的判别性信号。
• 开发一种基于图的方法，整合文档内部的事实结构与来自维基百科的外部知识，以提升深度伪造检测性能。
• 证明建模事实结构的一致性能超越标准Transformer模型所能达到的检测效果。

提出的方法

• 文档的事实结构以实体图表示，其中节点为通过命名实体识别（NER）提取的命名实体，边表示实体之间的语义相关关系。
• 节点表征通过图卷积网络（GCN）学习，结合内部图结构与来自维基百科的预训练实体嵌入。
• 通过聚合每个句子内节点表征构建句子表征，捕捉局部事实连贯性。
• 通过循环机制依次建模相邻句子表征的一致性，形成文档级表征。
• 最终通过分类器对组合后的文档表征进行预测，支持端到端训练。
• 模型在两个数据集上进行训练：一个包含GROVER生成的虚假新闻，另一个包含GPT-2生成的网络文本，使用二元交叉熵损失函数。

实验结果

研究问题

• RQ1 能否通过实体一致性和句子一致性等指标有效区分机器生成文本与人类撰写文本？
• RQ2 与标准的Transformer模型相比，建模文档事实结构在多大程度上提升了深度伪造检测性能？
• RQ3 外部知识（如基于维基百科的实体嵌入）的整合在多大程度上增强了对生成文本中事实不一致性的检测能力？
• RQ4 对句子连贯性的序列建模是否能提升对流畅但事实不连贯的深度伪造内容的检测能力？

主要发现

• 统计分析证实，机器生成文本的实体一致性数量（ECC）和句子一致性数量（SCC）显著低于人类撰写文本，表明存在事实结构不一致。
• 所提出的FAST模型在GROVER生成的新闻数据集和GPT-2生成的网络文本数据集上均显著优于基于RoBERTa的基线模型。
• 消融实验表明，基于图的事实结构建模与外部知识整合均对性能提升有显著贡献。
• 模型分析显示，FAST能有效学习检测事实不一致性，尤其在实体转移和句子层面连贯性方面，这些是机器生成内容的典型特征。
• 该模型在不同文本风格（包括正式新闻和非正式网络文本）中均表现出鲁棒性，表明其具有广泛适用性。
• 事实结构建模的引入有助于检测那些语言流畅、结构连贯但包含荒谬或不一致事实主张的深度伪造内容，例如涉及独角兽或四角动物的内容。