[论文解读] Why model why? Assessing the strengths and limitations of LIME

Jürgen Dieber, Sabrina Kirrane|arXiv (Cornell University)|Nov 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用 12

一句话总结

本文评估了LIME在解释表格型机器学习模型方面的有效性，展示了其在超越标准性能指标之外提升模型可解释性的价值。尽管在局部解释方面具有实用性，但研究揭示了显著的可用性挑战，包括文档质量差和缺乏全局分析支持，这些因素阻碍了用户在实际应用中的满意度和效率。

ABSTRACT

When it comes to complex machine learning models, commonly referred to as black boxes, understanding the underlying decision making process is crucial for domains such as healthcare and financial services, and also when it is used in connection with safety critical systems such as autonomous vehicles. As such interest in explainable artificial intelligence (xAI) tools and techniques has increased in recent years. However, the effectiveness of existing xAI frameworks, especially concerning algorithms that work with data as opposed to images, is still an open research question. In order to address this gap, in this paper we examine the effectiveness of the Local Interpretable Model-Agnostic Explanations (LIME) xAI framework, one of the most popular model agnostic frameworks found in the literature, with a specific focus on its performance in terms of making tabular models more interpretable. In particular, we apply several state of the art machine learning algorithms on a tabular dataset, and demonstrate how LIME can be used to supplement conventional performance assessment methods. In addition, we evaluate the understandability of the output produced by LIME both via a usability study, involving participants who are not familiar with LIME, and its overall usability via an assessment framework, which is derived from the International Organisation for Standardisation 9241-11:1998 standard.

研究动机与目标

• 评估LIME在提升表格型机器学习模型可解释性方面的有效性。
• 通过非专家参与者的可用性研究，评估LIME输出的可理解性。
• 基于ISO 9241-11:1998开发一个可用性评估框架，用于评估LIME及其他xAI框架。
• 展示LIME如何补充传统的性能评估方法，以实现更全面的模型评估。
• 识别LIME在全局解释和文档支持方面的可用性局限。

提出的方法

• 应用LIME的TabularExplainer，对四个最先进的分类模型在降雨预测数据集上的预测结果进行解释。
• 通过非专家参与者开展可用性研究，评估LIME局部解释的可理解性。
• 基于ISO 9241-11:1998开发一个可用性评估框架，重点关注有效性、效率和满意度。
• 通过解释单个预测结果进行局部分析，并通过聚合多个LIME解释结果实现全局分析。
• 由于缺乏原生的全局分析工具，采用手动数据聚合（如将LIME输出复制到Excel）以支持全局模式检测。
• 从时间、精力和用户体验角度评估工具性能，包括设置挑战和文档缺失问题。

实验结果

研究问题

• RQ1 与传统性能指标相比，LIME在增强表格型机器学习模型可解释性方面有多高效？
• RQ2 LIME的输出在多大程度上可被无解释AI经验的用户理解？
• RQ3 在应用LIME处理表格数据时，主要的可用性挑战是什么，特别是设置、文档和全局解释方面？
• RQ4 如何将标准化的可用性框架应用于评估LIME及其他模型无关的可解释性工具？
• RQ5 LIME在设计上需要哪些改进，以支持高效可靠的全局模型解释？

主要发现

• LIME通过提供个体预测的特征级解释，有效增强了局部可解释性，提供了超越标准性能指标的洞察。
• 非专家用户认为LIME的输出部分可理解，但因文档不清晰而在理解特征与预测之间关系方面存在困难。
• 由于文档过时及与旧版包的依赖问题，LIME的设置与配置耗费了大量时间和精力。
• 全局解释尤其费力，需花费数小时手动聚合和分析多个LIME解释结果。
• 用户对LIME的快速处理时间和交互性表示高度满意，但对缺乏标准化指南和全局分析支持感到沮丧。
• 所提出的基于ISO 9241-11的可用性框架成功捕捉了关键可用性维度，可作为评估其他xAI工具的基准。