[论文解读] How Much Can We See? A Note on Quantifying Explainability of Machine Learning Models

Gero Szepannek|arXiv (Cornell University)|Oct 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 5

一句话总结

本文提出了一套定量框架，用于评估部分依赖图（PDPs）在多大程度上能够解释黑箱机器学习模型的预测结果。通过测量模型预测值 $\hat{f}(x)$ 与 PDP 值 $\widehat{PD}_s(x)$ 之间的均方差，定义了一个可解释性度量 $\Upsilon$，用于量化 PDP 在多大程度上捕捉了模型的行为，使研究人员能够判断某种可视化是否足以实现可解释性。

ABSTRACT

One of the most popular approaches to understanding feature effects of modern black box machine learning models are partial dependence plots (PDP). These plots are easy to understand but only able to visualize low order dependencies. The paper is about the question 'How much can we see?': A framework is developed to quantify the explainability of arbitrary machine learning models, i.e. up to what degree the visualization as given by a PDP is able to explain the predictions of the model. The result allows for a judgement whether an attempt to explain a black box model is sufficient or not.

研究动机与目标

• 为解决缺乏标准化方法来评估部分依赖图（PDPs）在解释黑箱机器学习模型方面的充分性问题。
• 开发一种定量度量，以捕捉 PDP 反映模型真实预测行为的程度。
• 使研究人员能够判断基于 PDP 的解释是否足够充分，或是否需要引入高阶交互作用或替代方法。
• 提供一种数据驱动的标准，用于选择在 PDP 中包含哪些变量，以最大化可解释性。

提出的方法

• 以模型预测值 $\hat{f}(x)$ 与部分依赖函数值 $\widehat{PD}_s(x)$ 之间的均方差为基础，构建可解释性量化方法。
• 引入可解释性度量 $\Upsilon = 1 - \frac{\text{ASE}(PD_s)}{\text{ASE}(\text{baseline})}$，其中 ASE 表示预测值与 PDP 值之间期望平方误差的度量。
• 通过样本均值对 ASE 进行经验估计，以在真实数据和合成数据上计算 $\Upsilon$。
• 使用 $\Upsilon$ 作为准则，通过前向变量选择法识别出对 PDP 最具信息量的变量子集。
• 通过在 $(\hat{f}(x), PD(x))$ 平面上绘制散点图，可视化 $\hat{f}(x)$ 与 $\widehat{PD}_s(x)$ 之间的匹配程度，以评估模型与 PDP 的对齐情况。
• 将可视化方法扩展至二维 PDP 和散点图矩阵，以探索多变量依赖关系，同时指出在可视化高阶交互作用方面仍存在局限性。

实验结果

研究问题

• RQ1 部分依赖图（PDP）在多大程度上能准确反映黑箱机器学习模型的预测行为？
• RQ2 如何定量衡量 PDP 的可解释性与底层模型预测之间的关系？
• RQ3 在 PDP 中使用哪一组输入变量，能够使由 $\Upsilon$ 衡量的模型可解释性达到最大？
• RQ4 是否可以通过视觉检查模型预测值与 PDP 值之间的匹配程度，来检测解释中的局限性？
• RQ5 在何种 $\Upsilon$ 水平下可认为模型解释是充分可靠的？何时 PDP 的解释能力不足？

主要发现

• 可解释性度量 $\Upsilon$ 有效量化了 PDP 反映模型真实预测结果的程度，当 $\Upsilon = 1$ 时，表示完全对齐。
• 在波士顿房价数据集中，仅使用六个变量时，$\Upsilon > 0.93$，表明少量特征即可解释模型的大部分行为。
• 在波士顿房价数据中，变量选择过程识别出 lstat 和 rm 是最具影响力的预测变量，当它们在选择过程中较早被纳入时，$\Upsilon$ 值分别达到 0.986 和 0.993。
• 即使包含 14 个变量，$\Upsilon$ 也达到 1.000，表明在 PDP 中完整包含所有变量可实现与模型预测的完全匹配。
• 对 $(\hat{f}(x), PD(x))$ 散点图的视觉检查揭示了在非线性或交互效应较强的区域，预测值与 PDP 值之间存在系统性偏差。
• 本研究指出，PDP 仅能同时可视化最多两个变量，尽管散点图矩阵有所帮助，但无法完全捕捉高阶交互作用，这仍是开放的研究挑战。