[论文解读] DALE: Differential Accumulated Local Effects for efficient and accurate global explanations

Vasilis Gkolemis, Theodore Dalamagas+1 more|arXiv (Cornell University)|Oct 10, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出 DALE（Differential Accumulated Local Effects），一种新颖、高效且对分布外（OOD）样本具有鲁棒性的累积局部效应（ALE）近似方法，用于高维机器学习模型。通过利用自动微分在单次前向传播中计算特征效应，DALE 相较于传统 ALE 实现了数量级的速度提升，同时保持分布内采样，从而在宽箱尺寸下获得更准确的解释，且无需引入合成数据点。

ABSTRACT

Accumulated Local Effect (ALE) is a method for accurately estimating feature effects, overcoming fundamental failure modes of previously-existed methods, such as Partial Dependence Plots. However, ALE's approximation, i.e. the method for estimating ALE from the limited samples of the training set, faces two weaknesses. First, it does not scale well in cases where the input has high dimensionality, and, second, it is vulnerable to out-of-distribution (OOD) sampling when the training set is relatively small. In this paper, we propose a novel ALE approximation, called Differential Accumulated Local Effects (DALE), which can be used in cases where the ML model is differentiable and an auto-differentiable framework is accessible. Our proposal has significant computational advantages, making feature effect estimation applicable to high-dimensional Machine Learning scenarios with near-zero computational overhead. Furthermore, DALE does not create artificial points for calculating the feature effect, resolving misleading estimations due to OOD sampling. Finally, we formally prove that, under some hypotheses, DALE is an unbiased estimator of ALE and we present a method for quantifying the standard error of the explanation. Experiments using both synthetic and real datasets demonstrate the value of the proposed approach.

研究动机与目标

• 解决 ALE 在高维数据集中的计算低效问题。
• 解决 ALE 在箱尺寸较大时对分布外（OOD）采样敏感的问题。
• 开发一种可扩展、可微分的全局特征效应解释方法，同时保持分布内特性。
• 形式化证明 DALE 的无偏性，并为该近似提供标准误量化。
• 通过在训练集上预计算效应，实现近乎零计算开销的多分辨率特征效应图。

提出的方法

• DALE 通过使用可自动微分的框架，对每个输入特征的模型输出进行微分，以计算特征效应。
• 通过在训练数据点上对梯度进行积分，近似 ALE 的积分，避免使用合成的 OOD 样本。
• 该方法仅对训练集进行一次前向传播，同时计算所有特征的梯度。
• 特征效应在目标特征的箱内累积，利用梯度估计局部变化。
• 该方法确保用于估计的所有样本均来自训练分布，从而消除 OOD 偏差。
• 基于训练集内梯度估计的方差，推导出标准误估计器。

实验结果

研究问题

• RQ1 基于可微分与自动微分的方法，是否能显著优于基于蒙特卡洛的 ALE 近似方法，实现更高的计算效率？
• RQ2 在传统 ALE 因计算不可行而失效的高维特征空间中，DALE 是否仍能保持准确性？
• RQ3 当箱尺寸较大、OOD 采样问题突出时，DALE 与 ALE 在准确性方面表现如何比较？
• RQ4 在标准假设下，DALE 是否为真实 ALE 的无偏估计器？
• RQ5 预计算的 DALE 效应是否能以极低额外成本支持多分辨率特征效应可视化？

主要发现

• DALE 将特征效应计算的执行时间降低至与特征维度无关的近似常数时间，而 ALE 的计算时间随维度线性增长。
• 在 Bike-Sharing 数据集上，即使采用粗箱尺寸，DALE 的 NMSE 仍保持较低水平（K=100 时为 0.007），而 ALE 因 OOD 采样导致 NMSE 显著上升（K=100 时为 0.43）。
• 对于特征 Xhour，DALE 的近似在不同箱尺寸下保持稳定，而 ALE 在箱宽增加时性能显著下降。
• 在较弱正则性条件下，DALE 被形式化证明为 ALE 的无偏估计器。
• 预计算的梯度使 DALE 能够以可忽略的额外计算成本实现多分辨率特征效应图。
• 在不同分辨率下生成特征效应图时，DALE 实现了近乎零的计算开销，支持交互式与自适应的解释工作流。