[论文解读] Different Absorption from the Same Sharing: Sifted Multi-task Learning for Fake News Detection

Lianwei Wu, Yuan Rao+3 more|arXiv (Cornell University)|Sep 4, 2019

Misinformation and Its Impacts参考文献 41被引用 8

一句话总结

本文提出了一种筛选式多任务学习框架，采用选定的共享层，利用门控机制和注意力机制对虚假新闻检测与立场检测任务之间的共享特征进行过滤和选择性分发。该方法实现了最先进性能，在RumourEval和PHEME数据集上的F1分数分别提升了0.87%和1.31%，通过增强特征相关性并减少噪声。

ABSTRACT

Recently, neural networks based on multi-task learning have achieved promising performance on fake news detection, which focus on learning shared features among tasks as complementary features to serve different tasks. However, in most of the existing approaches, the shared features are completely assigned to different tasks without selection, which may lead to some useless and even adverse features integrated into specific tasks. In this paper, we design a sifted multi-task learning method with a selected sharing layer for fake news detection. The selected sharing layer adopts gate mechanism and attention mechanism to filter and select shared feature flows between tasks. Experiments on two public and widely used competition datasets, i.e. RumourEval and PHEME, demonstrate that our proposed method achieves the state-of-the-art performance and boosts the F1-score by more than 0.87%, 1.31%, respectively.

研究动机与目标

• 解决现有多任务学习模型中共享特征未经筛选、可能包含无关或有害信息的局限性。
• 通过联合训练立场检测，利用互补的可信度信号，提升虚假新闻检测性能。
• 设计一种选定共享层，基于任务特定的相关性智能过滤并聚焦共享特征。
• 通过门控与注意力机制的可视化，增强模型可解释性与特征选择能力。
• 证明基于Transformer的编码在捕捉文本与立场输入中的长距离依赖关系方面的有效性。

提出的方法

• 在共享表征层之后引入选定共享层，该层由门控共享单元（门控机制）与注意力共享单元（自注意力机制）组成。
• 利用门控共享单元通过学习每个特征图的二值门控权重，抑制无关或噪声共享特征。
• 采用注意力共享单元，动态为对目标任务更有益的特征分配更高的注意力权重。
• 应用Transformer编码器对虚假新闻检测与立场检测任务的输入序列进行编码，提升长距离依赖建模能力。
• 采用端到端的多任务学习目标进行训练，联合优化虚假新闻检测与立场分类损失。
• 通过注意力可视化与门控权重分析，解释不同任务下的特征选择行为。

实验结果

研究问题

• RQ1 选择性共享机制是否能通过过滤无关或有害的共享特征，提升虚假新闻检测性能？
• RQ2 选定共享层中的门控与注意力机制如何帮助区分不同任务的有用特征？
• RQ3 将立场检测作为辅助任务，能在多大程度上提升虚假新闻检测性能？
• RQ4 学习到的注意力权重与门控值在多大程度上反映了共享表征中任务特定的特征重要性？
• RQ5 在该多任务设置中，使用Transformer编码器是否相比传统RNN或CNN编码器能提升特征表示能力？

主要发现

• 所提出的筛选式多任务学习模型在RumourEval与PHEME数据集上均实现了最先进性能。
• 与先前最先进方法相比，该模型在RumourEval上的F1分数提升了0.87%，在PHEME上提升了1.31%。
• 门控共享单元有效抑制了共享表征中如'what'、'scary'和'fact'等无关词元。
• 注意力共享单元聚焦于任务特定的可信度指标：在虚假新闻检测中关注'live coverage'，在立场检测中关注'shut down'。
• 可视化结果证实，选定共享层通过结合私有特征与过滤后的共享特征，增强了特征的多样性与相关性。
• Transformer编码器能够更好地建模长距离依赖关系，并提升并行性，从而整体提升性能。