[论文解读] A $k$-additive Choquet integral-based approach to approximate the SHAP values for local interpretability in machine learning

Guilherme Dean Pelegrina, Leonardo Tomazeli Duarte+1 more|arXiv (Cornell University)|Nov 3, 2022

Multi-Criteria Decision Making被引用 4

一句话总结

本文提出了一种基于 k-可加 Choquet 积分的方法，用于在机器学习中近似计算局部模型可解释性的 SHAP 值，通过利用 k-可加博弈降低计算成本。该方法在保持与精确 SHAP 值高度一致的同时，显著减少了模型评估次数——尤其在 3-可加近似（3_ADD-SHAP）下表现更优，其效率高于 Kernel SHAP，且精度损失极小。

ABSTRACT

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

研究动机与目标

• 解决复杂机器学习模型中精确 SHAP 值计算的高计算成本问题。
• 在不牺牲可解释性质量的前提下，提升局部可解释性方法的效率。
• 提供一种模型无关的方法，支持个体特征贡献与特征交互效应的分析。
• 通过在 Choquet 积分框架中使用 k-可加博弈，减少过参数化和计算负担。
• 使 SHAP 类解释在计算资源有限的实际应用场景中具备可部署性。

提出的方法

• 通过将 Choquet 积分的参数与 Shapley 值直接关联，构建局部可解释性框架，实现对个体效应与交互效应的联合建模。
• 引入 k-可加博弈以限制所考虑联盟的数量，从而减少所需的模型评估次数。
• 采用 3-可加变体（3_ADD-SHAP）作为关键近似策略，在灵活性与计算效率之间实现平衡。
• 通过 Choquet 积分对 SHAP 框架进行适配，以保持局部准确性、缺失性与一致性等理想属性。
• 在 k-可加约束下通过采样联盟来近似 SHAP 值，最小化所需预测次数。
• 通过保留 Shapley 值的游戏理论特性，在降低复杂度的同时确保可解释性的保真度。

实验结果

研究问题

• RQ1 Choquet 积分能否作为计算 SHAP 值的直接且可解释的框架？
• RQ2 使用 k-可加博弈如何减少 SHAP 近似中所需的模型评估次数？
• RQ3 在使用 k-可加模型时，计算效率与近似精度之间的权衡如何？
• RQ4 3_ADD-SHAP 变体在效率与与精确 SHAP 值的保真度方面相较于 Kernel SHAP 如何？
• RQ5 所提出的方法在近似下是否能保持关键可解释性属性（局部准确性、一致性、缺失性）？

主要发现

• 基于 k-可加 Choquet 积分的方法显著减少了近似 SHAP 值所需的模型评估次数，尤其在 3_ADD-SHAP 变体下效果显著。
• 3_ADD-SHAP 方法即使在使用少于所有可能联盟的情况下，也能实现与精确 SHAP 值高度一致的近似精度，偏差极小。
• 由于其基于博弈论原理，所提出方法保持了 SHAP 的理想属性，包括局部准确性、缺失性与一致性。
• 与 Kernel SHAP 相比，所提出方法在测试场景中实现相当或更优的可解释性性能，同时所需预测次数更少。
• k-可加公式在低评估次数场景下避免了过参数化，提升了解释的稳定性和泛化能力。
• 数值实验表明，k-可加性引入的近似误差可忽略不计，尤其在 3_ADD-SHAP 中表现更优，确保了可靠的局部可解释性。