[论文解读] Do Sentence Interactions Matter? Leveraging Sentence Level Representations for Fake News Classification

Vaibhav Vaibhav, Raghuram Mandyam Annasamy+1 more|arXiv (Cornell University)|Oct 27, 2019

Misinformation and Its Impacts参考文献 15被引用 7

一句话总结

该论文提出一种图神经网络（GAT）模型，将新闻文章表示为语义图，其中节点为句子，边捕捉句子级别的交互关系，以提升虚假新闻分类性能。通过建模讽刺、可信和欺骗性新闻中文本的句子连贯性差异，该方法实现了最先进（SOTA）的性能表现，在二元分类任务中F1值最高提升87.8%，且在跨领域数据集上具有良好泛化能力。

ABSTRACT

The rising growth of fake news and misleading information through online media outlets demands an automatic method for detecting such news articles. Of the few limited works which differentiate between trusted vs other types of news article (satire, propaganda, hoax), none of them model sentence interactions within a document. We observe an interesting pattern in the way sentences interact with each other across different kind of news articles. To capture this kind of information for long news articles, we propose a graph neural network-based model which does away with the need of feature engineering for fine grained fake news classification. Through experiments, we show that our proposed method beats strong neural baselines and achieves state-of-the-art accuracy on existing datasets. Moreover, we establish the generalizability of our model by evaluating its performance in out-of-domain scenarios. Code is available at https://github.com/MysteryVaibhav/fake_news_semantics

研究动机与目标

• 为解决现有虚假新闻分类方法中缺乏对句子交互关系建模的问题，特别是针对讽刺、骗局和宣传等细粒度类别。
• 探究句子级语义交互在不同类型新闻文章（尤其是可信新闻与讽刺内容）之间是否存在显著差异。
• 开发一种神经网络架构，以捕捉长距离句子依赖关系与连贯性模式，且不依赖人工设计特征。
• 在领域内与跨领域数据集上评估模型性能，以衡量其泛化能力。
• 通过注意力图提供可解释性，揭示不同文章类型在句子聚类与关注焦点上的差异。

提出的方法

• 构建文档级别的图结构，其中每个句子作为节点，边通过图注意力网络（GAT）学习，以捕捉句子之间的关系。
• 使用基于BERT的句子嵌入作为图模型的输入特征，以保留上下文语义信息。
• 在GAT中应用多头注意力机制，在消息传递过程中动态加权邻近句子的重要性。
• 引入句子相似度（SS）模块，基于句子对之间的语义相似性增强边权重。
• 采用图卷积层聚合图中信息，生成用于分类的文档级表示。
• 在多个数据集上，通过交叉熵损失端到端训练模型，用于多分类与二分类任务。

实验结果

研究问题

• RQ1 可信新闻、讽刺新闻与欺骗性新闻文章之间的句子交互是否存在显著差异？
• RQ2 通过图神经网络建模句子级交互关系，是否能超越传统序列模型，提升虚假新闻分类性能？
• RQ3 所提出的基于图的方法是否能在训练与测试数据来源不同的跨领域数据集上实现良好泛化？
• RQ4 GAT模型中的注意力权重如何反映不同类型文章在句子连贯性与聚类模式上的差异？
• RQ5 该模型是否能在领域内与跨领域评估中均超越强基线模型与先前SOTA方法？

主要发现

• 在RPN数据集的跨领域设置下，采用双注意力头的GAT模型达到89.1%的F1值，尽管无训练数据重叠，仍优于先前SOTA方法（5折交叉验证下91%准确率）。
• 在SLN数据集的二元分类任务（讽刺 vs. 可信）中，GAT + 2 Attn Heads模型达到87.8% F1，超越先前SOTA方法（88.0%精确率与82.0%召回率）。
• GCN + Attn + SS变体在SLN数据集上实现87.8% F1，表明注意力机制与相似度建模可显著提升性能，优于简单的GCN基线。
• 对注意力图的定性分析显示，可信新闻文章仅聚焦少数关键句子（如段落首句），而讽刺文章则表现出更均匀分布的注意力，表明其具有更高的句子级连贯性。
• 在四分类任务（可信、讽刺、骗局、宣传）中，GAT + 2 Attn Heads模型在LUN-dev上达到97.82% F1，在LUN-test上达到66.95% F1，优于先前SOTA方法（LUN-dev上91.0% F1），展现出强大的泛化能力。
• 该模型对未见来源的数据具有有效泛化能力：在RPN数据集（来自LUN未见来源）上表现强劲，尽管无训练数据重叠，表明对领域偏移具有鲁棒性。