[论文解读] Linguistic-style-aware Neural Networks for Fake News Detection

Xinyi Zhou, Jiayu Li+2 more|arXiv (Cornell University)|Jan 7, 2023

Misinformation and Its Impacts被引用 5

一句话总结

本文提出 HERO，一种分层递归神经网络，通过语言结构化的树形结构建模新闻文章，以检测虚假新闻，捕捉词汇使用、句法递归和语篇组织中的风格差异。通过保留全局语言树结构，该方法在真实世界数据集上实现了 0.87–0.90 的 AUC 分数，优于当前最先进方法，揭示了虚假新闻相较于真实内容表现出更复杂的句法结构和更简单的语篇模式。

ABSTRACT

We propose the hierarchical recursive neural network (HERO) to predict fake news by learning its linguistic style, which is distinguishable from the truth, as psychological theories reveal. We first generate the hierarchical linguistic tree of news documents; by doing so, we translate each news document's linguistic style into its writer's usage of words and how these words are recursively structured as phrases, sentences, paragraphs, and, ultimately, the document. By integrating the hierarchical linguistic tree with the neural network, the proposed method learns and classifies the representation of news documents by capturing their locally sequential and globally recursive structures that are linguistically meaningful. It is the first work offering the hierarchical linguistic tree and the neural network preserving the tree information to our best knowledge. Experimental results based on public real-world datasets demonstrate the proposed method's effectiveness, which can outperform state-of-the-art techniques in classifying short and long news documents. We also examine the differential linguistic style of fake news and the truth and observe some patterns of fake news. The code and data have been publicly available.

研究动机与目标

• 解决现有虚假新闻检测方法忽略词、短语、句子和段落等语言单元之间分层结构关系的局限性。
• 基于分层语言树构建新闻文章的新表示方法，编码递归的句法和语篇结构，同时保留局部与全局的语言意义。
• 设计一种新型神经网络架构——HERO，通过学习这些树结构来分类虚假新闻，捕捉可与真实内容区分开来的风格模式，其设计基于欺骗的心理学理论。
• 通过公开的真实世界数据集，实证验证所提方法在短句和长新闻文章上的有效性。
• 通过分析分层语言树的结构特性，刻画虚假新闻与真实内容在语言风格上的差异。

提出的方法

• 通过将新闻文章递归分解为语篇单元（EDUs）、词性标注（POS）和词，构建新闻文章的分层语言树，捕捉从词级到文档级的递归结构。
• 将分层语言树作为新型神经网络架构——HERO 的输入结构，该架构旨在保留并学习全局树拓扑结构，包括父子关系和节点属性。
• 应用自底向上的递归神经网络机制，通过将子节点特征组合为父节点表示来聚合节点表示，使模型能够学习分层的、具有语言意义的表示。
• 将多个语言层次（词汇、句法、语篇）整合到统一的树结构中，其中节点代表词、词性标签、EDUs、修辞关系（RRs），根节点代表完整文档。
• 使用交叉熵损失端到端训练 HERO 模型，将新闻分类为虚假或真实，同时利用树中节点内容和结构连接性。
• 将 HERO 与移除树结构或分层学习机制的变体进行比较，以消融分析分层设计的贡献。

Figure 1: The hierarchical linguistic tree for the news piece “Why did the US in 2017 give $3.7m to the Wuhan Lab in China? Such grants were prohibited in 2014. Did President Obama grant an exception?” verified as a false statement by PolitiFact. 3 3 3 Source: https://www.politifact.com/factchecks/2

实验结果

研究问题

• RQ1 虚假新闻与真实新闻在分层语言树的结构特性上存在哪些差异？
• RQ2 一种保留语言树全局分层结构的神经网络，是否能相比现有模型提升虚假新闻检测性能？
• RQ3 哪些特定的语言风格模式——如词汇使用、句法复杂度或语篇组织——与虚假新闻具有稳定关联？
• RQ4 所提出的 HERO 模型是否在短句和长篇新闻文章上均具有泛化能力？
• RQ5 分层语言结构在提升检测性能方面，其贡献是否超越基于局部频率的特征？

主要发现

• HERO 在公开数据集上实现了 0.87–0.90 的 AUC 分数，优于包括循环网络、卷积网络、图神经网络和自注意力网络在内的当前最先进方法，在检测短句和长文章方面表现更优。
• 虚假新闻文章在其分层语言树中，每个父节点的子节点数量显著多于真实内容，表明句法结构更复杂。
• 虚假新闻的句法级树比真实新闻更大、更深、更宽，具有更多叶节点，表明其基本语篇单元（EDUs）更长且更复杂。
• 虚假新闻中 EDU 节点和复数名词（NNS）节点的比例显著较低，但介词（IN）、限定词（DT）和介词短语（PP）节点的比例更高，表明其句法模式存在显著差异。
• 虚假新闻的语篇级树比真实新闻更小、更窄，表明其高层组织更简单且更碎片化，尤其在短句中表现明显。
• 语言树的分层结构是检测的关键因素，消融实验表明，移除树结构或分层学习机制会显著降低性能。

Figure 2: Framework overview, which contains a top-bottom building process of hierarchical linguistic trees, a bottom-top feature extraction process using the proposed hierarchical recursive neural network, and a classifier to predict fake news. The neural network’s architecture adaptively preserves