[论文解读] Applying Automatic Text Summarization for Fake News Detection

Philipp Hartl, Udo Kruschwitz|arXiv (Cornell University)|Apr 4, 2022

Misinformation and Its Impacts被引用 4

一句话总结

本文提出CMTR-BERT，一种集成深度学习框架，通过结合抽取式与生成式文本摘要技术及基于BERT的上下文嵌入，以提升虚假新闻检测性能。通过融合层次化表示与上下文特征，该模型在两个基准数据集上实现了最先进（SOTA）的性能表现，证明了摘要与上下文信息能显著提升检测准确率。

ABSTRACT

The distribution of fake news is not a new but a rapidly growing problem. The shift to news consumption via social media has been one of the drivers for the spread of misleading and deliberately wrong information, as in addition to it of easy use there is rarely any veracity monitoring. Due to the harmful effects of such fake news on society, the detection of these has become increasingly important. We present an approach to the problem that combines the power of transformer-based language models while simultaneously addressing one of their inherent problems. Our framework, CMTR-BERT, combines multiple text representations, with the goal of circumventing sequential limits and related loss of information the underlying transformer architecture typically suffers from. Additionally, it enables the incorporation of contextual information. Extensive experiments on two very different, publicly available datasets demonstrates that our approach is able to set new state-of-the-art performance benchmarks. Apart from the benefit of using automatic text summarization techniques we also find that the incorporation of contextual information contributes to performance gains.

研究动机与目标

• 为解决在虚假新闻检测中长新闻文章超出BERT输入长度限制的挑战。
• 探究自动文本摘要是否能减少信息损失并提升分类性能。
• 评估上下文信息（如来源URL、推文）对虚假新闻检测准确率的影响。
• 开发一种语言无关、可复现的虚假新闻检测框架，基于集成BERT模型。
• 探索结合多种文本表示是否优于单一方法在虚假新闻检测中的表现。

提出的方法

• 提出CMTR-BERT，一种集成模型，结合BERT与三种文本表示方法：层次化Transformer、抽取式摘要与生成式摘要。
• 不仅对原始文本，也对摘要化与上下文化输入使用BERT嵌入，以保留语义丰富性。
• 通过基于BERT的抽取式模型实现抽取式摘要，通过序列到序列模型实现生成式摘要。
• 引入层次化输入表示，通过将文本分割为可管理的片段来处理长序列。
• 将来源URL与相关社交媒体帖子（推文）等上下文特征作为额外模态输入。
• 采用集成策略，将来自多种文本表示的预测结果合并，以提升鲁棒性与准确率。

实验结果

研究问题

• RQ1 自动文本摘要技术能否有效减少长新闻文章在虚假新闻检测中的信息损失？
• RQ2 上下文特征（如来源URL、推文）的整合如何影响虚假新闻检测模型的性能？
• RQ3 结合多种文本表示（抽取式、生成式、层次化）是否优于使用任一单一表示？
• RQ4 该模型性能在多大程度上依赖于摘要方法的选择（抽取式 vs. 生成式）？
• RQ5 所提出的框架是否具备跨不同数据集与语言的泛化能力？与标准BERT基线相比表现如何？

主要发现

• CMTR-BERT在CT-FAN 21数据集上达到最先进性能，显著优于标准BERT及其他基线模型。
• 引入上下文信息（如来源URL、推文）带来统计上显著的性能提升，Politifact与GossipCop数据集的p值均小于0.01。
• 集成模型（CMTR-BERT）的表现显著优于仅使用抽取式或生成式摘要的模型，事后检验p值均小于0.01。
• 抽取式摘要在CT-FAN 21上提升性能，而生成式摘要在各数据集中表现呈负面或中性。
• 层次化输入表示在CT-FAN 21上带来显著性能提升（Z = 46，p < 0.05），但在FakeNewsNet各领域未见显著提升。
• 在FakeNewsNet的一个领域进行微调并在另一领域测试会损害性能，表明上下文感知系统比仅依赖内容的模型泛化能力更强。