[论文解读] Impact of Accuracy on Model Interpretations

Brian Liu, Madeleine Udell|arXiv (Cornell University)|Nov 17, 2020

Explainable Artificial Intelligence (XAI)参考文献 14被引用 10

一句话总结

本文提出了两种度量方法——pMode 和 WKT10，用于量化机器学习模型的解释质量，并研究了模型准确率对这些度量的影响。通过子采样和自举法实验，发现对于高准确率模型，逻辑回归结合系数绝对值排序等简单方法能产生更高质量的解释；而对于低准确率模型，XGBoost 配合 SHAP 能提供最可信且稳定的解释。

ABSTRACT

Model interpretations are often used in practice to extract real world insights from machine learning models. These interpretations have a wide range of applications; they can be presented as business recommendations or used to evaluate model bias. It is vital for a data scientist to choose trustworthy interpretations to drive real world impact. Doing so requires an understanding of how the accuracy of a model impacts the quality of standard interpretation tools. In this paper, we will explore how a model's predictive accuracy affects interpretation quality. We propose two metrics to quantify the quality of an interpretation and design an experiment to test how these metrics vary with model accuracy. We find that for datasets that can be modeled accurately by a variety of methods, simpler methods yield higher quality interpretations. We also identify which interpretation method works the best for lower levels of model accuracy.

研究动机与目标

• 研究预测准确率如何影响模型解释方法的描述准确性。
• 开发并验证两种新度量方法——pMode 和 WKT10，用于量化解释质量的准确性和稳定性。
• 确定在不同模型准确率水平下，哪种解释方法能产生最可信的结果。
• 为数据科学家提供基于证据的建议，根据模型性能选择合适的解释方法。
• 展示通过子采样和自举法测试解释在准确率扰动下的鲁棒性的重要性。

提出的方法

• 提出 pMode 作为度量方法，用于衡量恢复真实特征排序概率，基于功能代理的正式上界进行定义。
• 将 WKT10 定义为度量方法，通过评估自举数据集上特征重要性排序的一致性，衡量解释的稳定性。
• 使用子采样方法人为降低多个准确率区间的模型准确率，模拟不同预测性能水平。
• 在每个准确率水平上应用一系列解释方法，包括线性模型、基于树的模型配合 SHAP、LIME 和 MDI。
• 针对每种方法-准确率组合计算 pMode 和 WKT10，以评估在不同实验条件下的准确性和稳定性。
• 使用自举重采样估计扰动区间，评估解释在准确率变化下的鲁棒性。

实验结果

研究问题

• RQ1 模型的预测准确率如何影响特征重要性解释的准确性和稳定性？
• RQ2 在不同准确率水平下，哪种解释方法能产生最高质量的解释（从准确性和稳定性角度）？
• RQ3 当准确率较低时，底层模型或解释算法的复杂性是否会影响解释质量？
• RQ4 在不同模型准确率水平下，SHAP 与 LIME 在稳定性和准确性方面如何比较？
• RQ5 子采样和自举法能否有效用于评估解释在准确率扰动下的鲁棒性？

主要发现

• 对于可实现高准确率建模的数据集，简单的解释方法如基于系数绝对值排序的逻辑回归（RCM）产生的解释质量优于复杂模型如 XGBoost 配合 SHAP。
• 当模型准确率较低时，XGBoost 配合 SHAP 在所有准确率区间内均表现出最稳定且最可信的解释，pMode 和 WKT10 度量得分均最优。
• XGBoost 配合 SHAP 在低和中等准确率区间内表现出单峰的解释稳定性分布，而其他方法则呈现双峰模式，表明其具有更高的鲁棒性。
• SHAP 在局部特征解释中始终优于 LIME，在全局特征解释中优于 MDI，尤其得益于其通过平均边际贡献带来的更高稳定性。
• 解释质量（以准确性和稳定性衡量）随模型准确率提升而提高，且该趋势在全局和局部解释类型中均保持一致。
• 使用扰动区间（如自举法生成的误差带）可帮助数据科学家评估并传达其解释在准确率变化下的可靠性。