[论文解读] Comparing Explanation Methods for Traditional Machine Learning Models Part 1: An Overview of Current Methods and Quantifying Their Disagreement

Montgomery L. Flora, Corey K. Potvin+2 more|arXiv (Cornell University)|Nov 16, 2022

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本研究评估并比较了传统机器学习模型的全局与局部解释方法，发现尽管在关键特征上存在中等程度的一致性，但不同方法在特征排序上存在显著分歧。基于强对流天气和路面温度预测模型的研究表明，尽管在充分采样下不同方法的特征效应曲线表现良好一致，但特征重要性排序却差异巨大——凸显了方法感知解释的必要性，并推荐尚未被充分探索的Tree Interpreter作为SHAP在特征效应分析中的可行替代方案。

ABSTRACT

With increasing interest in explaining machine learning (ML) models, the first part of this two-part study synthesizes recent research on methods for explaining global and local aspects of ML models. This study distinguishes explainability from interpretability, local from global explainability, and feature importance versus feature relevance. We demonstrate and visualize different explanation methods, how to interpret them, and provide a complete Python package (scikit-explain) to allow future researchers to explore these products. We also highlight the frequent disagreement between explanation methods for feature rankings and feature effects and provide practical advice for dealing with these disagreements. We used ML models developed for severe weather prediction and sub-freezing road surface temperature prediction to generalize the behavior of the different explanation methods. For feature rankings, there is substantially more agreement on the set of top features (e.g., on average, two methods agree on 6 of the top 10 features) than on specific rankings (on average, two methods only agree on the ranks of 2-3 features in the set of top 10 features). On the other hand, two feature effect curves from different methods are in high agreement as long as the phase space is well sampled. Finally, a lesser-known method, tree interpreter, was found comparable to SHAP for feature effects, and with the widespread use of random forests in geosciences and computational ease of tree interpreter, we recommend it be explored in future research.

研究动机与目标

• 整合并比较当前传统机器学习模型的解释方法，区分可解释性与可解释性的概念，以及局部解释与全局解释的区别。
• 量化主流解释方法在特征重要性排序和特征效应曲线方面的一致性水平。
• 为研究人员提供一个实用的开源Python包（scikit-explain），用于探索和应用这些方法。
• 指导实践者在方法存在分歧时选择和解释解释方法。
• 强调方法选择在建立高风险领域（如强对流天气预报）中机器学习模型可信度中的重要性。

提出的方法

• 本研究在两个真实世界机器学习应用中评估了多种解释方法，包括SHAP、LIME、置换重要性、基尼重要性以及Tree Interpreter（TI），分别用于强对流天气预测和低于冰点的路面温度预测。
• 通过相关性和一致性度量，比较不同方法在前10个特征上的特征重要性排序。
• 可视化并定量比较不同方法生成的特征效应曲线，重点关注在充分采样的相空间下形状和幅度的一致性。
• 开发并使用一个自定义Python包scikit-explain，以标准化解释输出的计算与可视化。
• 通过方法对之间的等级一致性统计度量，量化分歧程度，尤其关注特征排序和效应曲线的一致性。
• 研究使用来自Warning Decision Support System - Integrated Publishing System（WoFS）和路面温度数据集的实验数据，模型基于这些数据进行训练。

实验结果

研究问题

• RQ1 不同解释方法在传统机器学习模型的特征重要性排序上表现如何？
• RQ2 在对模型输入进行排序时，解释方法在关键特征上的一致程度如何？
• RQ3 不同解释方法在不同输入条件下生成的特征效应曲线的一致性如何？
• RQ4 Tree Interpreter方法在特征效应估计方面与SHAP相比的相对表现如何？
• RQ5 解释方法之间的分歧如何影响高风险机器学习应用（如强对流天气预报）中的信任度与解释能力？

主要发现

• 平均而言，两种解释方法在前10个特征中仅能一致识别出6个特征，且在前10名中的排序一致性仅约2–3个，表明特征排序顺序存在显著分歧。
• 当相空间采样充分时，不同方法生成的特征效应曲线表现出高度一致性，表明对局部模型行为的估计可靠。
• Tree Interpreter（TI）生成的特征效应曲线与SHAP几乎完全一致，表明其在全局效应可视化方面具有极强的一致性。
• 尽管存在特征相关性问题，TI的特征重要性排序与基尼重要性相当，表明其在实践中具有潜在应用价值。
• 本研究识别出当前研究中的一个关键空白：对解释方法中特征交互作用的探索极为有限，而这类交互作用在超过两个特征后通常计算上不可行。
• 作者建议进一步研究Tree Interpreter，因其计算效率高且表现优异，尤其在随机森林广泛应用的地球科学领域中更具潜力。