[论文解读] A Retrospective Analysis of the Fake News Challenge Stance Detection Task

Andreas Hanselowski, Avinesh Pvs+5 more|TUbilio (Technical University of Darmstadt)|Jun 13, 2018

Misinformation and Its Impacts参考文献 41被引用 68

一句话总结

本文复现并分析了 FNC-1 的前三个系统，提出了一个基于 F1 的新评估指标，开发了一个特征丰富的 stackLSTM，并用新的 ARC 数据集研究泛化。

ABSTRACT

The 2017 Fake News Challenge Stage 1 (FNC-1) shared task addressed a stance classification task as a crucial first step towards detecting fake news. To date, there is no in-depth analysis paper to critically discuss FNC-1's experimental setup, reproduce the results, and draw conclusions for next-generation stance classification methods. In this paper, we provide such an in-depth analysis for the three top-performing systems. We first find that FNC-1's proposed evaluation metric favors the majority class, which can be easily classified, and thus overestimates the true discriminative power of the methods. Therefore, we propose a new F1-based metric yielding a changed system ranking. Next, we compare the features and architectures used, which leads to a novel feature-rich stacked LSTM model that performs on par with the best systems, but is superior in predicting minority classes. To understand the methods' ability to generalize, we derive a new dataset and perform both in-domain and cross-domain experiments. Our qualitative and quantitative study helps interpreting the original FNC-1 scores and understand which features help improving performance and why. Our new dataset and all source code used during the reproduction study are publicly available for future research.

研究动机与目标

• 批判性地评估 FNC-1 顶部系统的实验设置与可重复性。
• 识别哪些特征和架构对立场检测性能贡献最大。
• 提出一个对类别不平衡偏倚较小的稳健评估指标。
• 利用基于 ARC 的新数据集研究对未见领域的泛化能力。
• 提供一个在处理少数类方面表现更好的更强基线/模型。

提出的方法

• 使用公开代码复现实 FNC-1 的前三个系统（TalosComb、TalosTree、TalosCNN/UCLMR/Athene 变体）。
• 进行特征消融，以识别具有影响力的特征组（BoW、BoC、主题模型、词汇特征等）。
• 提出一个基于 F1 的新宏观指标（F1m），以缓解 FNC-1 评估中的类别不平衡偏差。
• 开发一个特征丰富的 stackLSTM，将语义嵌入与人工设计特征拼接以改进少数类预测。
• 引入一个基于 ARC 的跨领域数据集以评估泛化能力并进行跨领域实验。
• 使用多名标注者和基于 MACE 的最佳标签近似比较人类上界。

实验结果

研究问题

• RQ1 由于类别不平衡，FNC-1 指标是否高估了真实的判别能力？
• RQ2 哪些特征与架构最能捕捉文档级立场并处理少数类？
• RQ3 在基于 F1 的平衡指标（F1m）下，顶尖系统的排名与原始 fnc 指标相比如何？
• RQ4 该任务的人类上界是多少，模型与之相比如何？
• RQ5 FNC-1 模型是否能推广到相关的跨领域立场数据集（ARC）？

主要发现

系统	FNC-FNC	fnc	agr	dsg	dsc	unr
Maj. vote	.394	.210	0.0	0.0	0.0	.839
TalosComb	.820	.582	.539	.035	.760	.994
TalosTree	.830	.570	.520	.003	.762	.994
TalosCNN	.502	.308	.258	.092	0.0	.882
Athene	.820	.604	.487	.151	.780	.996
UCLMR	.817	.583	.479	.114	.747	.989
featMLP	.825	.607	.530	.151	.766	.982
stackLSTM	.821	.609	.501	.180	.757	.995
Upper bound	.859	.754	.588	.667	.765	.997

• 原始的 FNC-1 指标偏向多数相关类别，可能夸大性能估计。
• 在提出的基于 F1 的宏观指标（F1m）下，Athene 位居第一，平均超过 UCLMR 与 Talos 系统。
• 一个将 BoW/BoC 与主题模型特征结合词嵌入的特征丰富的 stackLSTM 提高了少数类预测（特别是 dsg）。
• BoW/BoC 特征和主题模型特征对性能贡献最大；基于词典的特征对立场检测帮助不大。
• stackLSTM 模型在 dsg 类上比其他方法取得统计显著的提升。
• 对 F1m 的人类上界估计为 0.754，按类别的上界为：unr 0.997，agr 0.588，dsg 0.667，dsc 0.765。