[论文解读] A Retrospective Analysis of the Fake News Challenge Stance Detection Task

Andreas Hanselowski, Avinesh Pvs+5 more|arXiv (Cornell University)|Jun 13, 2018

Misinformation and Its Impacts参考文献 33被引用 158

一句话总结

本论文复现并分析前三个FNC-1立场检测系统，提出基于F1的新型评估指标，构建一个特征丰富的stackLSTM，并通过一个新的ARC派生数据集与跨领域实验来评估泛化性。

ABSTRACT

The 2017 Fake News Challenge Stage 1 (FNC-1) shared task addressed a stance classification task as a crucial first step towards detecting fake news. To date, there is no in-depth analysis paper to critically discuss FNC-1's experimental setup, reproduce the results, and draw conclusions for next-generation stance classification methods. In this paper, we provide such an in-depth analysis for the three top-performing systems. We first find that FNC-1's proposed evaluation metric favors the majority class, which can be easily classified, and thus overestimates the true discriminative power of the methods. Therefore, we propose a new F1-based metric yielding a changed system ranking. Next, we compare the features and architectures used, which leads to a novel feature-rich stacked LSTM model that performs on par with the best systems, but is superior in predicting minority classes. To understand the methods' ability to generalize, we derive a new dataset and perform both in-domain and cross-domain experiments. Our qualitative and quantitative study helps interpreting the original FNC-1 scores and understand which features help improving performance and why. Our new dataset and all source code used during the reproduction study are publicly available for future research.

研究动机与目标

• 严格评估前三个FNC-1立场检测系统的实验设置与结果。
• 确定哪些特征和架构对性能贡献最大。
• 提出一个鲁棒的评估度量，并通过新数据集和跨域实验探讨泛化。

提出的方法

• 使用提供的代码和数据集复现前三个FNC-1系统（TalosComb, TalosTree, TalosCNN；Athene, UCLMR, featMLP, stackLSTM）
• 进行特征消融，识别有影响的特征（BoW、BoC、主题模型等），并分析失败原因
• 提出一个新的基于宏F1的度量（F1m），以解决类别不平衡问题并在此度量下评估系统
• 通过将BoW/BoC/主题特征与序列单词表示（GloVe嵌入）和两层LSTM相结合，开发一个新型的特征丰富的stackLSTM
• 引入一个新的ARC基于数据集来测试跨领域/泛化能力，并进行域内和跨域评估
• 在域内（FNC-1）和跨域ARC-FNC设置下比较模型，包括来自人工标注者的上限估计

实验结果

研究问题

• RQ1 在考虑类别不平衡的度量下，顶级FNC-1立场检测系统的表现如何？
• RQ2 哪些特征对预测文档级立场贡献最大，语义表示如何影响性能？
• RQ3 一个语义信息丰富的架构（如stackLSTM）是否能在不牺牲总体性能的前提下改善少数类的预测？
• RQ4 FNC-1模型在跨域或ARC派生的立场数据上的泛化能力如何？
• RQ5 人类在此任务上的上限估计是多少，当前模型有多接近？

主要发现

• 原始FNC-1度量对多数类有利，可能在不平衡数据下高估区分能力。
• 一个新的基于F1的宏观度量（F1m）改变了系统排名，在F1m域内由Athene领先。
• BoW和BoC特征推动了主要性能提升；主题模型特征提供额外改进；基于词汇表的特征在此任务中表现不佳。
• 一个特征丰富的stackLSTM，将BoW/BoC/主题特征与基于GloVe的序列编码结合，在F1m上优于其他方法，尤其提升少数类(dsg)预测。
• 基于ARC的跨域评估显示泛化程度各异；TalosComb在跨域通常泛化更好，而stackLSTM在特定设置对少数类dsg表现出色。
• 估计的人类在F1m上的上限为0.754，表明存在相当的提升空间，但在相关类别之间的判别仍具挑战性。