[论文解读] An Adversarial Benchmark for Fake News Detection Models

Lorenzo Jaime Yu Flores, Yiding Hao|arXiv (Cornell University)|Jan 3, 2022

Misinformation and Its Impacts被引用 6

一句话总结

本文提出一个对抗性基准，用于评估虚假新闻检测模型在真实世界事实推理方面的能力，测试其在针对组合语义、词汇关系和修饰语敏感性攻击下的鲁棒性。基于 BERT 的模型在否定和政党角色反转攻击下表现失败，暴露出其过度依赖表面线索而非事实理解。

ABSTRACT

With the proliferation of online misinformation, fake news detection has gained importance in the artificial intelligence community. In this paper, we propose an adversarial benchmark that tests the ability of fake news detectors to reason about real-world facts. We formulate adversarial attacks that target three aspects of "understanding": compositional semantics, lexical relations, and sensitivity to modifiers. We test our benchmark using BERT classifiers fine-tuned on the LIAR arXiv:arch-ive/1705648 and Kaggle Fake-News datasets, and show that both models fail to respond to changes in compositional and lexical meaning. Our results strengthen the need for such models to be used in conjunction with other fact checking methods.

研究动机与目标

• 评估虚假新闻检测模型是否真正理解语义内容和现实世界事实，而非依赖表面模式。
• 开发一种针对性的对抗性基准，测试模型在政治事实、组合意义和修饰语影响方面的推理能力。
• 在受控的语义扰动下，评估微调后的 BERT 模型在 LIAR 和 Kaggle Fake-News 数据集上的鲁棒性。
• 识别模型是否使用诸如副词强度或词频等启发式方法作为虚假新闻分类的代理信号。
• 揭示当前模型在事实推理方面的局限性，并倡导将其与外部事实核查系统集成。

提出的方法

• 提出三种对抗性攻击类型：否定（改变真值）、政党角色反转（互换政治角色）和副词强度降低（移除强调副词）。
• 将这些攻击应用于 LIAR 和 Kaggle Fake-News 数据集中的陈述，保持语义结构不变，但改变事实主张。
• 在两个数据集上微调 BERT 分类器，以评估模型在对抗性输入下的行为表现。
• 通过标签翻转率和预测概率变化来衡量模型的鲁棒性。
• 使用梯度×激活（G×I）显著性分析，识别对虚假与真实标签预测影响最大的词语。
• 分析显著性分数与词频及语义内容的关系，以评估模型对罕见词与常见词的依赖程度。

实验结果

研究问题

• RQ1 当虚假新闻检测模型受到改变事实主张的语义扰动时，能否保持分类准确性？
• RQ2 模型在分类新闻为虚假或真实时，在多大程度上依赖词汇关系（如政治角色）？
• RQ3 副词强度（如 'totally'）是否构成虚假新闻检测的启发式信号，且该信号在移除后是否依然稳健？
• RQ4 模型在政治极化程度和事实焦点不同的数据集之间，性能表现有何差异？
• RQ5 模型是否对组合语义敏感，还是在通过否定或角色反转改变真值条件时即失效？

主要发现

• 否定攻击在 LIAR 数据集上导致 0.0% 的标签翻转率，在 Kaggle Fake-News 数据集上为 0.9%，表明模型对真值变化的响应极弱。
• 政党角色反转攻击导致显著的标签翻转，表明模型虽保持语义一致性，却对政治角色变化极为脆弱。
• 副词强度攻击未引发显著的标签翻转（LIAR 为 0.0%，Kaggle 为 0.9%），显著性分析显示高强度副词的贡献极低。
• 显著性分析发现，罕见人名（如 Sanford、Marco）的显著性得分极高，而常见人名（如 Trump、Obama）的得分接近零，表明模型更倾向依赖低频术语。
• 在 LIAR 上训练的模型对攻击的敏感性高于在 Kaggle Fake-News 上训练的模型，可能是因为 LIAR 更关注事实主张，而后者更侧重于极化的标题。
• 结果表明，模型无法有效推理真实世界事实，反而依赖表面线索，凸显了与外部事实核查方法集成的必要性。