[论文解读] DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification

Lianwei Wu, Yuan Rao+3 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 42被引用 10

一句话总结

本文提出DTCA，一种基于决策树的协同注意力网络，通过透明地选择高可信度评论作为证据，并利用协同注意力机制识别声明中的错误部分，从而增强可解释性声明验证。该方法在RumourEval和PHEME数据集上分别实现了SOTA的F1分数，性能提升分别为3.11%和2.41%，同时提供可解释的证据选择与对误导性声明片段的细粒度注意力分析。

ABSTRACT

Recently, many methods discover effective evidence from reliable sources by appropriate neural networks for explainable claim verification, which has been widely recognized. However, in these methods, the discovery process of evidence is nontransparent and unexplained. Simultaneously, the discovered evidence only roughly aims at the interpretability of the whole sequence of claims but insufficient to focus on the false parts of claims. In this paper, we propose a Decision Tree-based Co-Attention model (DTCA) to discover evidence for explainable claim verification. Specifically, we first construct Decision Tree-based Evidence model (DTE) to select comments with high credibility as evidence in a transparent and interpretable way. Then we design Co-attention Self-attention networks (CaSa) to make the selected evidence interact with claims, which is for 1) training DTE to determine the optimal decision thresholds and obtain more powerful evidence; and 2) utilizing the evidence to find the false parts in the claim. Experiments on two public datasets, RumourEval and PHEME, demonstrate that DTCA not only provides explanations for the results of claim verification but also achieves the state-of-the-art performance, boosting the F1-score by 3.11%, 2.41%, respectively.

研究动机与目标

• 为解决基于神经网络的证据发现方法在声明验证中缺乏透明性的问题。
• 通过提供清晰的决策规则，实现选择可信评论作为证据的可解释性。
• 聚焦于识别声明中错误或误导性部分，而不仅关注整体声明的真伪性。
• 结合结构化决策树与深度神经注意力机制，实现证据选择与错误部分定位的双重目标。
• 在保持可解释性的同时，实现最先进的性能表现。

提出的方法

• 基于结构化、分层的评论构建基于决策树的证据（DTE）模型，通过内容与元数据推导出决策条件，以选择高可信度的评论。
• DTE模型采用多项标准——语义相似度（0.40–0.49）、评论者可信度（>0.66）和评论可信度（>0.62）——对证据进行筛选与排序。
• 协同注意力自注意力网络（CaSa）实现所选证据与声明之间的深层语义交互，聚焦于声明中错误或可疑的组成部分。
• CaSa发挥双重作用：（1）通过反馈优化决策阈值，改进DTE；（2）通过注意力权重识别声明中关键的误导性词汇。
• 该框架通过端到端联合优化，使DTE与CaSa协同训练，以提升证据质量与错误部分检测能力。
• 通过树中的显式决策路径使证据选择过程可解释，同时注意力图可视化了声明与评论中最具相关性的词语。

实验结果

研究问题

• RQ1 基于决策树的方法能否为声明验证提供透明且可解释的证据选择？
• RQ2 协同注意力机制在利用所选证据时，能否有效定位声明中的错误或误导性部分？
• RQ3 将结构化决策规则与神经注意力机制结合，是否能同时提升声明验证的性能与可解释性？
• RQ4 该模型在支持评论数量不同的声明上表现如何？
• RQ5 该模型的注意力机制在多大程度上能突出语义相关的证据与错误的声明片段？

主要发现

• DTCA实现SOTA性能，在RumourEval和PHEME数据集上的F1分数分别较先前方法提升3.11%和2.41%。
• 模型成功识别并突出显示了声明中的错误或误导性部分，例如‘presumably Muslim’和‘isn’t Islamist’，这些部分在协同注意力机制中获得了较高的注意力权重。
• DTE所选择的证据在语义相似度（0.40–0.49）、评论者可信度（>0.66）和评论可信度（>0.62）方面均保持高水平，证实了选择过程的可靠性。
• 对于拥有超过8条评论的声明，DTCA在RumourEval和PHEME上的F1分数分别达到79.34%和79.68%，显著优于拥有较少评论的声明。
• 错误分析表明，评论数量少于8条的声明性能下降，RumourEval和PHEME上的准确率分别至少下降4.92%和3.10%，表明模型对评论数量存在依赖性。
• 视觉注意力图确认，模型聚焦于语义关键词汇，如‘false flag’、‘How do you arrive at that?’和‘weekly Charlie Hebdo’，并能关联到相关背景知识。