[论文解读] Ex-Twit: Explainable Twitter Mining on Health Data

Tunazzina Islam|arXiv (Cornell University)|May 24, 2019

Topic Modeling被引用 4

一句话总结

本文提出 Ex-Twit 方法，结合主题模型（LDA、NMF、LSA）与 LIME，实现对健康相关数据的可解释性 Twitter 数据挖掘。该方法在主题预测中达到 80% 的测试准确率，并通过突出显示支撑模型预测的关键词语，提供局部、实例级别的解释，从而增强在无监督 NLP 应用中的信任度与可解释性。

ABSTRACT

Since most machine learning models provide no explanations for the predictions, their predictions are obscure for the human. The ability to explain a model's prediction has become a necessity in many applications including Twitter mining. In this work, we propose a method called Explainable Twitter Mining (Ex-Twit) combining Topic Modeling and Local Interpretable Model-agnostic Explanation (LIME) to predict the topic and explain the model predictions. We demonstrate the effectiveness of Ex-Twit on Twitter health-related data.

研究动机与目标

• 为解决在 Twitter 数据挖掘中，尤其在健康相关语境下，黑箱机器学习模型缺乏可解释性的问题。
• 开发一种方法，不仅能预测非结构化 Twitter 文本中的主题，还能解释每项预测背后的依据。
• 通过使用 LIME 提供局部、词级别解释，使人类用户能够信任并验证模型输出。
• 在真实世界的健康相关 Twitter 数据上评估该方法的有效性，将模型预测与人工标注的主题进行比较。
• 证明可解释人工智能技术可与主题模型有效结合，从而提升社交媒体分析的透明度。

提出的方法

• 该方法采用三种主题建模技术——潜在狄利克雷分配（LDA）、非负矩阵分解（NMF）和潜在语义分析（LSA），以从健康相关推文中发现潜在主题。
• 通过最大化一致性得分来选择最优主题数量，如一致性得分与主题数量关系图所示。
• 在主题建模后应用 LIME，通过扰动输入推文来生成局部、实例级别的解释，识别出对每项预测最具影响力的词语。
• 对于每条推文，模型为每个主题分配预测概率和 LIME 分数，其中绿色标记表示与主题关键词匹配的词语，红色标记表示不匹配的词语。
• 该框架使用平均 Kullback-Leibler（KL）散度来衡量局部 LIME 解释与全局主题模型之间的相似性，以量化解释的保真度。
• 通过可视化展示推文中哪些词语最有力地支持了预测的主题，从而支持人工检查与验证。

实验结果

研究问题

• RQ1 如何提升在健康相关 Twitter 数据中主题建模预测的可解释性？
• RQ2 模型预测在多大程度上与真实世界 Twitter 数据中的人工标注主题一致？
• RQ3 LIME 能否提供有意义的局部解释，以阐明为何特定主题被分配给某条推文？
• RQ4 推文中的显著词语如何影响模型的预测？这些词语能否通过可视化方式突出显示以增强透明度？
• RQ5 该 LDA-LIME 框架在预测准确率与解释质量方面的表现如何？

主要发现

• 当将预测主题与人工标注的真实标签进行比较时，模型在训练集上达到 93% 的准确率，在测试集上达到 80% 的准确率。
• 在测试数据的第 4 行中，模型以约 0.89 的概率预测为主题 1，LIME 得分为约 2.4，其依据是匹配关键词 'diet' 和 'gym'。
• 在模型与人工标注不一致的情况下（第 6 行），模型以 0.82 的概率预测为主题 4，其依据是与 'fitness'、'wellness' 和 'great' 的匹配——这些均为主题 4 关键词列表中的核心术语。
• 对于该误判预测的解释表明，尽管 'swimming' 与主题 3（正确的人工标签）匹配，但模型仍更倾向于主题 4，因其词语匹配更强且预测置信度更高。
• 对于正确预测的训练样本，平均 KL 散度为 0.026；对于误分类的测试样本，平均 KL 散度为 0.061，表明不同实例间解释保真度存在差异。
• LIME 可视化成功突出了支持性词语与冲突性词语，使预测推理过程及与人工标签的差异得以清晰诊断。