[论文解读] Melody: Generating and Visualizing Machine Learning Model Summary to Understand Data and Classifiers Together

Gromit Yeuk-Yin Chan, Enrico Bertini+3 more|arXiv (Cornell University)|Jul 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 64被引用 12

一句话总结

MELODY 是一种新颖的交互式可视化分析系统，通过使用信息论对局部解释进行聚类，生成全局模型解释摘要，从而在无需额外模型或用户机器学习专业知识的情况下，实现对表格、图像和文本数据中机器学习模型的整体理解。与基线方法相比，该系统能够生成更快速、更紧凑的摘要，同时支持端到端的模型调试与解释工作流。

ABSTRACT

With the increasing sophistication of machine learning models, there are growing trends of developing model explanation techniques that focus on only one instance (local explanation) to ensure faithfulness to the original model. While these techniques provide accurate model interpretability on various data primitive (e.g., tabular, image, or text), a holistic Explainable Artificial Intelligence (XAI) experience also requires a global explanation of the model and dataset to enable sensemaking in different granularity. Thus, there is a vast potential in synergizing the model explanation and visual analytics approaches. In this paper, we present MELODY, an interactive algorithm to construct an optimal global overview of the model and data behavior by summarizing the local explanations using information theory. The result (i.e., an explanation summary) does not require additional learning models, restrictions of data primitives, or the knowledge of machine learning from the users. We also design MELODY UI, an interactive visual analytics system to demonstrate how the explanation summary connects the dots in various XAI tasks from a global overview to local inspections. We present three usage scenarios regarding tabular, image, and text classifications to illustrate how to generalize model interpretability of different data. Our experiments show that our approaches: (1) provides a better explanation summary compared to a straightforward information-theoretic summarization and (2) achieves a significant speedup in the end-to-end data modeling pipeline.

研究动机与目标

• 为弥合整体可解释人工智能（XAI）的空白，通过将局部模型解释整合为全局、用户友好的概览，支持跨多种数据类型的认知理解。
• 开发一种可扩展、与数据无关的摘要技术，适用于任何基于特征重要性的解释方法，无论数据类型（表格、图像、文本）如何。
• 设计一个交互式可视化分析系统（MELODY UI），将全局摘要与局部实例级检查连接起来，以提升对模型的理解与调试能力。
• 在金融、计算机视觉和自然语言处理等多样化的真实世界用例中，展示该方法的实用性。

提出的方法

• 该方法使用信息论聚类技术，根据局部解释归因中的相似性对实例和特征进行分组，以最小化摘要中的信息损失。
• 构建一个共聚类可视化矩阵，其中行代表相似实例的组，列代表相似特征的组，颜色强度表示归因强度。
• 该算法采用抽样技术，高效扩展至大规模数据集，实现实时摘要生成，无需重新训练或额外模型推理。
• MELODY UI 将摘要与交互式筛选、刷选和下钻功能集成，支持从全局趋势到局部反事实的多粒度分析。
• 系统支持动态查询和子集探索，使用户能够隔离并检查特定模式，如误分类或高影响力特征。
• 该方法与模型无关，可通过接收 LIME、Grad-CAM、SHAP 等现有解释工具的输出作为输入，与之兼容。

实验结果

研究问题

• RQ1 能否使用信息论从局部解释构建全局解释摘要，在保留模型行为的同时降低复杂性？
• RQ2 与朴素的信息论基线相比，所提出的摘要方法在紧凑性和可解释性方面表现如何？
• RQ3 MELODY 系统能否在表格、图像和文本等多样化数据类型上支持有效的端到端模型分析？
• RQ4 交互式可视化分析界面在多大程度上提升了用户对模型决策和数据特征的理解？

主要发现

• 与直接的信息论基线相比，MELODY 生成的解释摘要更紧凑、信息更丰富，减少了冗余，同时保留了关键决策模式。
• 通过支持快速全局检查和针对性的局部分析，该系统显著加快了端到端数据建模流程。
• 在表格用例中，模型的决策逻辑被揭示主要依赖于违约历史和外部风险评估，超过 70% 的预测由这两个因素解释。
• 在图像分类任务中，MELODY 发现模型因学习到的特征与黄喉莺相似，特别是黄色斑块区域，导致将一只黄喉莺错误分类为蓝翼莺。
• 在文本分类用例中，系统识别出 'auto'、'bmw' 和 'ford' 等词是贷款相关投诉的强预测因子，包含这些词的样本正确率达 93%。
• MELODY UI 中的交互式筛选与刷选功能使分析师能够隔离并验证高影响力主题，如车辆购买，这些主题被证实是客户投诉的核心。