[论文解读] Deletion and Insertion Tests in Regression Models

Naofumi Hama, Masayoshi Mase+1 more|arXiv (Cornell University)|May 25, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文将原本用于图像分类的插入和删除测试扩展至回归模型，通过锚定分解推导出曲线下方面积（AUC）和曲线上方面积（ABC）的解析表达式，其结果以主效应和交互效应表示。研究发现，积分梯度（IG）在特征重要性排序方面几乎与核SHAP（KS）相当，但计算速度显著更快，尤其在二值变量上，IG需在离散取值间插值，表现更优。

ABSTRACT

A basic task in explainable AI (XAI) is to identify the most important features behind a prediction made by a black box function $f$. The insertion and deletion tests of Petsiuk et al. (2018) can be used to judge the quality of algorithms that rank pixels from most to least important for a classification. Motivated by regression problems we establish a formula for their area under the curve (AUC) criteria in terms of certain main effects and interactions in an anchored decomposition of $f$. We find an expression for the expected value of the AUC under a random ordering of inputs to $f$ and propose an alternative area above a straight line for the regression setting. We use this criterion to compare feature importances computed by integrated gradients (IG) to those computed by Kernel SHAP (KS) as well as LIME, DeepLIFT, vanilla gradient and input$ imes$gradient methods. KS has the best overall performance in two datasets we consider but it is very expensive to compute. We find that IG is nearly as good as KS while being much faster. Our comparison problems include some binary inputs that pose a challenge to IG because it must use values between the possible variable levels and so we consider ways to handle binary variables in IG. We show that sorting variables by their Shapley value does not necessarily give the optimal ordering for an insertion-deletion test. It will however do that for monotone functions of additive models, such as logistic regression.

研究动机与目标

• 将插入和删除测试从图像分类任务扩展至回归问题，其中预测结果为连续值且不必然接近零。
• 基于回归函数的锚定分解，推导AUC和ABC度量的主效应与交互效应的解析表达式。
• 评估并比较多种可解释AI方法（IG、KS、LIME、DeepLIFT、原始梯度、输入×梯度）在回归任务中的表现。
• 研究变量类型（尤其是二值变量）对IG性能的影响，并提出相应的处理策略。
• 确定按Shapley值对特征排序是否能优化插入/删除测试性能，以及在何种条件下会失效。

提出的方法

• 利用回归函数f(x)的锚定分解，将AUC和ABC表示为主效应与交互项的函数。
• 推导在随机变量排序下AUC的期望值，作为性能比较的基线。
• 在回归任务中提出一条参考直线（直线），替代分类任务中使用的水平轴，用于ABC度量。
• 在两个数据集上应用插入/删除测试：班加罗尔住房数据集与CERN电子对撞数据。
• 在IG中处理二值变量时，通过在0和1之间插值实现，采用最简策略。
• 在包含重训练的ROAR风格特征移除实验中，使用带符号和绝对归因值对方法进行比较。

实验结果

研究问题

• RQ1 如何有意义地将插入和删除测试从分类设置扩展至回归设置？
• RQ2 回归任务中AUC和ABC度量的解析表达式是什么？它们与函数中主效应和交互效应的关系如何？
• RQ3 按Shapley值对特征排序是否能实现插入/删除测试的最优性能？若不能，其失效条件是什么？
• RQ4 在使用插入/删除度量的回归任务中，不同可解释AI方法（IG、KS、LIME等）的表现如何比较？
• RQ5 二值变量对IG性能有何影响？在该背景下应如何有效处理它们？

主要发现

• 尽管计算速度远超KS，积分梯度（IG）在插入和删除测试中的表现几乎与核SHAP（KS）相当。
• KS在两个数据集上的AUC和ABC得分均最优，但其计算成本过高，难以在大规模场景中应用。
• 使用绝对归因值的IG在性能上优于带符号排序，尤其在班加罗尔住房数据集中甚至超越KS。
• ROAR测试表明，IG和KS均未能识别出特征重要性的清晰层级结构，因为损失曲线接近直线，表明移除任意特征子集均导致性能下降微弱。
• 按Shapley值排序并不总能优化插入/删除测试性能；它仅在单调可加模型（如逻辑回归）中有效。
• 在随机排序下，ABC的期望值为零，为评估方法性能提供了零假设参考基准。