[论文解读] A simple but tough-to-beat baseline for the Fake News Challenge stance detection task

Benjamin Riedel, Isabelle Augenstein+2 more|arXiv (Cornell University)|Jul 11, 2017

Topic Modeling参考文献 8被引用 206

一句话总结

本论文提出一个简单的端到端立场检测系统用于 FNC-1，使用词袋特征和一个小型多层感知机，取得有竞争力的结果，在假新闻挑战第一阶段排名第三。作者将其宣传为尽管简单但强基线。

ABSTRACT

Identifying public misinformation is a complicated and challenging task. An important part of checking the veracity of a specific claim is to evaluate the stance different news sources take towards the assertion. Automatic stance evaluation, i.e. stance detection, would arguably facilitate the process of fact checking. In this paper, we present our stance detection system which claimed third place in Stage 1 of the Fake News Challenge. Despite our straightforward approach, our system performs at a competitive level with the complex ensembles of the top two winning teams. We therefore propose our system as the 'simple but tough-to-beat baseline' for the Fake News Challenge stance detection task.

研究动机与目标

• 为 FNC-1 提供一个简单立场检测基线的实用性，以辅助事实核查工作流。
• 开发一个端到端系统，使用轻量级语言特征来评估标题与正文之间的立场。
• 将该系统与更复杂的集成方法进行比较，确立其作为基线的地位。
• 提供可复现的实现与分析，为未来立场检测基线提供信息。

提出的方法

• 对标题和正文提取两种词袋表示（TF 和 TF-IDF）。
• 对标题和正文的 TF-IDF 向量进行 L2 归一化后计算余弦相似度。
• 将 TF 和 TF-IDF 特征连接成一个 10,001 维特征向量，并输入到带有 ReLU 激活的一隐藏层 MLP。
• 训练使用带 L2 正则化和 dropout 的交叉熵损失，使用 Adam 优化和梯度裁剪。
• 通过在数据划分上使用交叉验证的随机搜索来调整超参数。

实验结果

研究问题

• RQ1 使用简单的基于 BOW 的表示和一个小型神经分类器，是否能与更复杂的集成方法在 FNC-1 立场检测中竞争？
• RQ2 一个轻量级基线在关键标签（agree，disagree）上的性能相较于顶尖系统如何？
• RQ3 像 TF、TF-IDF 及它们的余弦相似度这样的简单特征如何促进立场分类？

主要发现

• 该系统在最终测试集上取得 FNC-1 得分 81.72%，在 50 支队伍中排名第三。
• 在区分 related vs. unrelated 对时实现高准确率（96.55%），大多数错误分类出现在更细微的 agree/disagree 维度。
• 尽管方法简单，但该方法仍具备与顶尖集成方法的竞争力。
• 作者提供开源代码，并声称通过公开的 GitHub 仓库实现可重复性。
• 该基线超过了许多参与者，紧随前两名队伍之后。
• 混淆矩阵显示 '同意' 的平均表现较好，但 '不同意' 的表现较弱。