[论文解读] Generalized Integrated Gradients: A practical method for explaining diverse ensembles

John Merrill, Geoff Ward+3 more|arXiv (Cornell University)|Sep 4, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 9

一句话总结

本文提出了广义积分梯度（GIG），一种新颖的公理化方法，通过将积分梯度扩展至处理混合类型模型（如神经网络与基于树的模型的组合），利用测度论路径积分，对多样化机器学习集成模型进行解释。GIG 在无需任意假设的前提下，唯一且确定地分配特征归因，在不同模型架构下的准确性和一致性方面优于现有方法。

ABSTRACT

We introduce Generalized Integrated Gradients (GIG), a formal extension of the Integrated Gradients (IG) (Sundararajan et al., 2017) method for attributing credit to the input variables of a predictive model. GIG improves IG by explaining a broader variety of functions that arise from practical applications of ML in domains like financial services. GIG is constructed to overcome limitations of Shapley (1953) and Aumann-Shapley (1974), and has desirable properties when compared to other approaches. We prove GIG is the only correct method, under a small set of reasonable axioms, for providing explanations for mixed-type models or games. We describe the implementation, and present results of experiments on several datasets and systems of models.

研究动机与目标

• 为解决在金融和医疗等高风险领域中，缺乏一种通用且一致的多样化机器学习集成模型解释方法的问题。
• 克服现有方法（如Shapley值和积分梯度）依赖任意提升或不切实际的独立性假设的局限性。
• 开发一种完全由公理和模型函数决定的信用分配框架，确保对混合类型模型的唯一性和正确性。
• 提供一种实用且可计算的方法，统一地将积分梯度推广至处理不连续、分段常数和连续函数。

提出的方法

• GIG 使用测度论将积分梯度扩展，通过输入空间的Lebesgue分解定义路径积分，同时包含连续路径和沿超平面的不连续性。
• 通过基于函数不连续点周围象限的几何分解计算归因，避免了Shapley值方法所需的任意组合提升。
• 该方法依赖于一组少量公理（线性性、对零变量不敏感、对称性）导出的唯一解，确保唯一性。
• GIG 使用函数代数和Borel测度的形式化框架，将信用分配推广至混合类型模型，包括广义位置模型。
• 该算法通过Lebesgue测度和由模型中不连续性诱导的正交Borel测度定义的路径进行积分，计算归因。
• 它是唯一一种在无需特征独立性假设的前提下，能正确分配所有混合类型复合函数（如神经网络与决策树的集成）信用的方法。

实验结果

研究问题

• RQ1 能否开发一种单一的、公理化的信用分配方法，一致地解释多样化且混合类型的机器学习模型，而无需依赖任意假设或组合提升？
• RQ2 是否存在一种唯一的方法，满足关键公理（线性性、对称性、对零变量不敏感），用于具有连续与不连续组件的模型中的信用归因？
• RQ3 如何正式推广积分梯度以处理具有分段常数行为的模型（如树集成），同时保持准确性和一致性？
• RQ4 测度论路径积分的公式化是否能提供比现有方法（如DeepSHAP或TreeExplainer）更稳健和通用的解释方法？
• RQ5 能否构建一种完全由其公理和模型函数决定的方法，消除自由参数和任意选择？

主要发现

• GIG 是唯一一种在完全由模型函数和输入数据决定、无自由参数的前提下，同时满足线性性、对称性和对零变量不敏感性核心公理的方法。
• GIG 唯一且正确地将特征归因分配给混合类型模型（如结合神经网络与基于树的模型的集成），而现有方法因独立性假设或任意提升而失效。
• 与基于Shapley的方法不同，GIG 避免了向高维空间的组合提升，消除了歧义，并确保在不同模型表示下的一致性。
• 在模型不在边际空间或特征存在依赖关系时，GIG 在准确性和通用性方面均优于DeepSHAP和TreeExplainer。
• 该方法提供了严谨的测度论基础，将积分梯度推广至不连续和混合模型，使真实世界机器学习系统的准确解释成为可能。
• 在多个数据集上的实证结果表明，GIG 在多样化模型架构和数据类型下均能提供一致、可靠且可解释的归因。