[论文解读] Explainable Rumor Detection using Inter and Intra-feature Attention Networks

Mingxuan Chen, Ning Wang+1 more|arXiv (Cornell University)|Jul 21, 2020

Misinformation and Its Impacts参考文献 47被引用 8

一句话总结

该论文提出了一种模块化、可解释的深度学习架构用于谣言检测，通过双层注意力机制——跨特征（特征类别之间）和内特征（每个类别内部）——整合潜在特征、人工设计特征和用户特征，以提升F1分数和准确率，同时提供可解释的推理过程。该模型在标准数据集上优于十一个基线方法，注意力权重为特征重要性提供了透明的洞察。

ABSTRACT

With social media becoming ubiquitous, information consumption from this media has also increased. However, one of the serious problems that have emerged with this increase, is the propagation of rumors. Therefore, rumor identification is a very critical task with significant implications to economy, democracy as well as public health and safety. We tackle the problem of automated detection of rumors in social media in this paper by designing a modular explainable architecture that uses both latent and handcrafted features and can be expanded to as many new classes of features as desired. This approach will allow the end user to not only determine whether the piece of information on the social media is real of a rumor, but also give explanations on why the algorithm arrived at its conclusion. Using attention mechanisms, we are able to interpret the relative importance of each of these features as well as the relative importance of the feature classes themselves. The advantage of this approach is that the architecture is expandable to more handcrafted features as they become available and also to conduct extensive testing to determine the relative influences of these features in the final decision. Extensive experimentation on popular datasets and benchmarking against eleven contemporary algorithms, show that our approach performs significantly better in terms of F-score and accuracy while also being interpretable.

研究动机与目标

• 开发一种模块化、可扩展的谣言检测架构，支持多种特征类别的集成。
• 通过注意力机制量化个体特征及其类别相对重要性，实现谣言检测的可解释性。
• 实证评估潜在特征、人工设计特征和用户衍生特征对谣言分类性能的影响。
• 为模型决策提供全局（平均情况）和局部（单个样本）两种层次的可解释性。
• 在标准谣言检测数据集上，将所提模型与十一个最先进方法进行基准对比。

提出的方法

• 该架构采用统一注意力网络（Unified-AttNet），处理三类不同的特征：潜在特征（如USE嵌入）、人工设计的内容特征（如词性、情感）以及用户特征（如认证状态、粉丝数）。
• 在每类特征内部应用内特征注意力，以计算该类别中各特征的相对重要性。
• 在三类特征之间应用跨特征注意力，以确定各类特征（如人工设计特征 vs. 潜在特征 vs. 用户特征）对最终预测的相对贡献。
• 模型采用自注意力机制，根据特征与谣言分类任务的相关性动态加权特征。
• 该架构设计为模块化，允许在不重新训练整个模型的前提下添加新的特征类别。
• 解释信息来源于注意力权重，这些权重在实例级别和聚合级别均被可视化与分析。

实验结果

研究问题

• RQ1 如何使谣言检测的深度学习模型既具备模块化又可扩展，以支持新特征类别的集成？
• RQ2 潜在特征、人工设计特征和用户特征在多大程度上贡献于谣言检测性能？其相对重要性如何量化？
• RQ3 注意力机制能否在实例级别和聚合级别均提供有意义且人类可理解的谣言检测决策解释？
• RQ4 与现有最先进谣言检测方法相比，所提模型在性能和可解释性方面表现如何？
• RQ5 通过分析不同类型谣言和数据集中的注意力权重，能获得关于特征重要性的哪些洞察？

主要发现

• 所提出的Unified-AttNet模型在标准谣言检测数据集上，于十一个基线模型中取得了最高的F1分数和准确率。
• 在Ferguson子数据集的第94条记录中，模型正确分类了一则真实谣言，其中人工设计特征获得44.7%的注意力权重，潜在特征占30.8%，用户特征占24.5%。
• 内特征注意力显示，在正确分类的谣言中，副词（RB）、wh-副词（WRB）和第三人称单数动词（VBZ）在人工设计特征中贡献了44%的权重。
• 在用户特征中，认证状态、粉丝数和账号年龄分别贡献了60%、30%和10%的注意力权重，表明其在决策中的作用。
• 模型表明，在一个示例中，对话线程中的回复（而非源推文）占最终检测结果的25.5%，凸显了回复上下文的重要性。
• 平均情况下的注意力分析揭示了稳定的特征重要性模式，使模型开发者能够基于实证影响力对特征进行剪枝或优先排序。