[论文解读] Explainable Tsetlin Machine framework for fake news detection with credibility score assessment

Bimal Bhattarai, Ole‐Christoffer Granmo+1 more|arXiv (Cornell University)|May 19, 2021

Misinformation and Its Impacts参考文献 35被引用 21

一句话总结

本文提出了一种用于虚假新闻检测的可解释Tsetlin Machine（TM）框架，利用逻辑短语捕捉文本中的词汇和语义模式，实现全局和局部可解释性。该模型在准确率上至少比先前基线模型高出5%，并提供可信度评分，在F1得分上优于BERT和XLNet，同时通过逐条款特征分析保持透明性。

ABSTRACT

The proliferation of fake news, i.e., news intentionally spread for misinformation, poses a threat to individuals and society. Despite various fact-checking websites such as PolitiFact, robust detection techniques are required to deal with the increase in fake news. Several deep learning models show promising results for fake news classification, however, their black-box nature makes it difficult to explain their classification decisions and quality-assure the models. We here address this problem by proposing a novel interpretable fake news detection framework based on the recently introduced Tsetlin Machine (TM). In brief, we utilize the conjunctive clauses of the TM to capture lexical and semantic properties of both true and fake news text. Further, we use the clause ensembles to calculate the credibility of fake news. For evaluation, we conduct experiments on two publicly available datasets, PolitiFact and GossipCop, and demonstrate that the TM framework significantly outperforms previously published baselines by at least $5\%$ in terms of accuracy, with the added benefit of an interpretable logic-based representation. Further, our approach provides higher F1-score than BERT and XLNet, however, we obtain slightly lower accuracy. We finally present a case study on our model's explainability, demonstrating how it decomposes into meaningful words and their negations.

研究动机与目标

• 解决基于深度学习的虚假新闻检测模型缺乏可解释性的问题。
• 开发一种透明的、基于逻辑的框架，通过人类可读的短语解释分类决策。
• 基于分类置信度，为单个虚假新闻条目提供可信度评分。
• 在保持可解释性的同时提升检测性能，克服BERT和XLNet等黑箱模型的局限性。
• 展示TM短语如何捕捉普通和否定形式的词语模式，实现对真实与虚假新闻的稳健区分。

提出的方法

• Tsetlin Machine（TM）使用合取短语对新闻文本中的词汇和语义模式进行建模，并从标注数据中学习。
• TM框架中的每个短语由普通和否定的字面量组成，支持非单调推理，以提高区分能力。
• 模型通过正负极性组中活跃短语的投票聚合进行新闻分类。
• 可信度评分基于分类投票的置信度，支持按可信度对虚假新闻进行排序。
• 该框架利用短语中捕获的词语模式实现全局可解释性，展示哪些特征对分类有贡献。
• 案例研究分析短语中顶级字面量（普通和否定）以展示局部可解释性及特征相关性。

实验结果

研究问题

• RQ1 如何使虚假新闻检测模型在保持高准确率的同时，通过逻辑短语表示实现可解释性？
• RQ2 Tsetlin Machine框架能否有效学习并表示使用普通和否定词语字面量的虚假新闻中的语言和语义模式？
• RQ3 基于分类置信度的可信度评分如何提升对单个虚假新闻条目的评估？
• RQ4 TM框架在F1得分和可解释性方面，与BERT和XLNet等黑箱模型相比，优势有多大？
• RQ5 结合普通和否定特征的非单调短语如何增强模型的区分能力及人类可理解的推理能力？

主要发现

• TM框架在PolitiFact和GossipCop数据集上的准确率至少比先前发表的基线模型高出5%。
• 该模型在F1得分上优于BERT和XLNet，表明其在数据不平衡或语义细微的检测任务中表现更优。
• 可信度评分机制支持根据分类置信度对虚假新闻进行排序，有助于风险评估。
• 案例研究显示，短语频繁捕获否定字面量（如¬trump），通过对比虚假与真实新闻的特征增强区分能力。
• 短语中捕获的顶级字面量包括'trump'、'rumors'、'gossip'和'source'等高对比度术语，表明其具有强大的区分能力。
• 通过展示分类决策基于短语内多个字面量的联合贡献，而非孤立词语，证明了模型的可解释性。