[论文解读] Birds of a Feather Flock Together: Satirical News Detection via Language Model Differentiation

Yigeng Zhang, Fan Yang+3 more|arXiv (Cornell University)|Jul 4, 2020

Humor Studies and Applications参考文献 15被引用 24

一句话总结

本文提出了一种新颖的讽刺新闻检测方法，通过利用在真实新闻和讽刺新闻上训练的模型之间的语言模型预测损失差异来实现。通过从每个模型对给定文章预测不佳所得到的‘意外度’分数中计算统计特征，该方法在无需复杂特征工程或深度神经架构的情况下，实现了最先进的F1分数：验证集为93.23%，测试集为90.19%。

ABSTRACT

Satirical news is regularly shared in modern social media because it is entertaining with smartly embedded humor. However, it can be harmful to society because it can sometimes be mistaken as factual news, due to its deceptive character. We found that in satirical news, the lexical and pragmatical attributes of the context are the key factors in amusing the readers. In this work, we propose a method that differentiates the satirical news and true news. It takes advantage of satirical writing evidence by leveraging the difference between the prediction loss of two language models, one trained on true news and the other on satirical news, when given a new news article. We compute several statistical metrics of language model prediction loss as features, which are then used to conduct downstream classification. The proposed method is computationally effective because the language models capture the language usage differences between satirical news documents and traditional news documents, and are sensitive when applied to documents outside their domains.

研究动机与目标

• 为解决讽刺新闻检测的挑战，此类新闻在语气和结构上模仿真实新闻，但通过反讽和荒诞来制造幽默。
• 克服现有方法严重依赖手工设计的语言特征或复杂神经架构的局限性。
• 探究语言模型输出差异是否能有效捕捉讽刺新闻与真实新闻之间细微的语言和语用差异。
• 开发一种计算效率高、可泛化的方法，无需微调或高级嵌入表示。

提出的方法

• 分别在真实新闻和讽刺新闻（如The Onion、Spoof）上训练两个独立的语言模型。
• 对于每个输入新闻文章，使用两个语言模型计算预测损失，生成‘意外度’分数——衡量该文章对每个模型的出乎意料程度。
• 从意外度分数中提取统计特征，如均值、方差和分位数，按句子或段落片段进行计算。
• 将这些统计特征作为下游分类器（如使用线性或多项式核的SVM）的输入，进行二分类。
• 应用互信息分析以识别最具信息量的特征，提升模型的可解释性和性能。
• 利用‘物以类聚’原则——同一类别的文档表现出相似的语言模型行为——从而通过分布差异实现检测。

实验结果

研究问题

• RQ1 语言模型预测损失差异是否能在不依赖复杂语言特征的情况下，有效区分讽刺新闻与真实新闻？
• RQ2 从语言模型意外度分数中提取的统计特征在讽刺新闻检测中的分类性能中起到何种作用？
• RQ3 该方法在多样的讽刺新闻来源和领域中具有多大程度的泛化能力？
• RQ4 哪些特定特征（如意外度分数的均值、方差）对讽刺类别最具预测力，且在训练集、验证集和测试集中表现如何变化？
• RQ5 当面对模糊或低质量的讽刺数据集（如混合了讽刺与非新闻内容的博客）时，该方法是否仍保持鲁棒性？

主要发现

• 所提方法在验证集上达到93.23%的F1分数，在测试集上达到90.19%，优于先前方法，包括Rubin等人、Yang等人及De Sarkar等人提出的方法。
• 在验证集上，使用多项式核的SVM取得了最高F1分数（93.23%），表明其在统计意外度特征上具有出色的泛化能力。
• 互信息分析显示，句子数量（N）以及真实新闻语言模型的意外度分数为高度信息量特征，尤其在验证数据上表现显著。
• 来自讽刺语言模型的均值和中位数意外度分数表现出强大的判别能力，而配对方差等其他特征则效用较低。
• 由于该方法依赖数值意外度分数而非语义分析，因此对数据质量问题（如Ossurworld博客中包含非新闻内容）表现出鲁棒性。
• 该方法计算效率高，无需微调或复杂神经网络，相较于先前的最先进模型更具可扩展性和可解释性。