[论文解读] SUBPLEX: Towards a Better Understanding of Black Box Model Explanations at the Subpopulation Level

Jun Yuan, Gromit Yeuk-Yin Chan+6 more|arXiv (Cornell University)|Jul 21, 2020

Data Visualization and Analytics参考文献 86被引用 9

一句话总结

SUBPLEX 是一个视觉分析系统，通过在本地模型解释上应用聚类和降维技术，使用户能够在子群体层面解释黑箱机器学习模型，集成于 Jupyter 笔记本中。它通过交互式、以用户为中心的可视化，增强模型调试、特征选择和偏差检测，带来更深入的洞察，并实现编码与可视化分析工作流的紧密集成。

ABSTRACT

Understanding the interpretation of machine learning (ML) models has been of paramount importance when making decisions with societal impacts such as transport control, financial activities, and medical diagnosis. While current model interpretation methodologies focus on using locally linear functions to approximate the models or creating self-explanatory models that give explanations to each input instance, they do not focus on model interpretation at the subpopulation level, which is the understanding of model interpretations across different subset aggregations in a dataset. To address the challenges of providing explanations of an ML model across the whole dataset, we propose SUBPLEX, a visual analytics system to help users understand black-box model explanations with subpopulation visual analysis. SUBPLEX is designed through an iterative design process with machine learning researchers to address three usage scenarios of real-life machine learning tasks: model debugging, feature selection, and bias detection. The system applies novel subpopulation analysis on ML model explanations and interactive visualization to explore the explanations on a dataset with different levels of granularity. Based on the system, we conduct user evaluation to assess how understanding the interpretation at a subpopulation level influences the sense-making process of interpreting ML models from a user's perspective. Our results suggest that by providing model explanations for different groups of data, SUBPLEX encourages users to generate more ingenious ideas to enrich the interpretations. It also helps users to acquire a tight integration between programming workflow and visual analytics workflow. Last but not least, we summarize the considerations observed in applying visualization to machine learning interpretations.

研究动机与目标

• 解决在子群体层面模型解释方面的空白，即解释被汇总于数据子集而非单个实例或全局总结。
• 通过交互式视觉分析系统，支持真实世界机器学习工作流程，特别是模型调试、特征选择和偏差检测。
• 将视觉解释工具无缝集成到 Jupyter 笔记本环境中，与数据科学家现有的编程工作流保持一致。
• 探索对模型解释进行子群体层面分析，如何增强用户的理解与解释能力。
• 提供以人为本的交互式平台，支持对数据组中模型行为的高层概览与详细探索。

提出的方法

• 该系统对基于局部解释向量（如 LIME 或 SHAP 权重）的实例应用聚类和降维技术（如 t-SNE 或 UMAP）进行分组。
• 在二维投影空间中可视化这些子群体，使用户可通过刷选、过滤和下钻交互探索聚类。
• 该工具实现为 Jupyter 小部件，允许与机器学习代码直接集成，并实现代码与可视化之间的无缝数据传输。
• 用户可直接在小部件中自定义聚类和降维算法及其参数，提升可重现性与控制力。
• 该系统支持对子群体中解释模式的动态探索，使用户能够识别各群体间的一致性或差异性行为。
• 通过与数据科学家的迭代式设计过程，指导了界面与交互设计，重点聚焦于可用性与工作流集成。

实验结果

研究问题

• RQ1 对模型解释进行子群体层面分析，在多大程度上提升了用户对黑箱模型的理解？
• RQ2 将视觉分析集成到 Jupyter 笔记本环境在多大程度上改善了数据科学家在模型解释过程中的工作流？
• RQ3 用户如何利用子群体洞察来检测偏差、调试模型或选择特征？
• RQ4 用户在解释局部解释的多维投影时面临哪些挑战？
• RQ5 与单独使用局部或全局解释相比，对聚类解释进行交互式探索如何带来更细致或更具创新性的解释？

主要发现

• 用户报告称，以子群体层面探索解释，促使他们生成了更具洞察力和创新性的模型行为解释。
• 将视觉分析工具集成到 Jupyter 笔记本环境，显著加强了编程与可视化分析工作流之间的耦合，提升了可用性与效率。
• 数据科学家即使最初不熟悉可视化技术，也表现出对交互式视觉解释的强烈兴趣，并在初次使用后提供了积极反馈。
• 该系统使用户能够识别子群体间特征重要性的模式，有助于偏差检测与特征选择。
• 用户认为从可视化中导出选定数据点（如通过刷选）的功能非常有价值，可进一步使用原生 Python 代码进行分析。
• 尽管具有诸多优势，用户在理解多维投影中的距离与缩放时仍存在困难，表明视觉设计方面仍需更好的用户引导。