[论文解读] Marginal Effects for Non-Linear Prediction Functions

Christian A. Scholbeck, Giuseppe Casalicchio+3 more|arXiv (Cornell University)|Jan 21, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出前向边际效应（fMEs）作为一种模型无关、可解释的方法，用于估计非线性预测函数中的特征效应，以直观的前向差分替代导数。该方法将单变量fMEs推广至多变量变化，引入了一种非线性度量，并通过特征空间划分提出条件平均边际效应，为黑箱模型提供了一种比传统平均边际效应更准确、更具可解释性的替代方案。

ABSTRACT

Beta coefficients for linear regression models represent the ideal form of an interpretable feature effect. However, for non-linear models and especially generalized linear models, the estimated coefficients cannot be interpreted as a direct feature effect on the predicted outcome. Hence, marginal effects are typically used as approximations for feature effects, either in the shape of derivatives of the prediction function or forward differences in prediction due to a change in a feature value. While marginal effects are commonly used in many scientific fields, they have not yet been adopted as a model-agnostic interpretation method for machine learning models. This may stem from their inflexibility as a univariate feature effect and their inability to deal with the non-linearities found in black box models. We introduce a new class of marginal effects termed forward marginal effects. We argue to abandon derivatives in favor of better-interpretable forward differences. Furthermore, we generalize marginal effects based on forward differences to multivariate changes in feature values. To account for the non-linearity of prediction functions, we introduce a non-linearity measure for marginal effects. We argue against summarizing feature effects of a non-linear prediction function in a single metric such as the average marginal effect. Instead, we propose to partition the feature space to compute conditional average marginal effects on feature subspaces, which serve as conditional feature effect estimates.

研究动机与目标

• 解决传统边际效应在解释非线性和黑箱机器学习模型时的局限性。
• 以更可解释的前向差分替代基于导数的边际效应，用于特征效应估计。
• 将单变量边际效应推广至特征值的多变量变化。
• 引入一种非线性度量，用于量化预测函数曲率对可解释性的影响。
• 通过特征空间划分提出条件平均边际效应，避免使用全局汇总指标（如平均边际效应）带来的误导。

提出的方法

• 提出前向边际效应（fMEs）作为当某一特征（或一组特征）增加一个步长h时预测值差异的度量，替代基于导数的边际效应。
• 通过为特征子集S使用步长向量h_S，将fMEs推广至多变量变化，实现对联合特征效应的估计。
• 基于特征空间中fMEs的变化提出一种非线性度量，捕捉预测函数曲率对可解释性的影响。
• 通过在特征空间的子区域上计算条件平均边际效应，替代全局平均边际效应（AME），以反映不同区域中特征效应的异质性。
• 建立fMEs与个体条件期望（ICE）曲线差异之间的理论等价性，以及在线性条件下AME与部分依赖（PD）曲线差异之间的理论等价性。
• 利用预测函数的可加分解证明，fMEs仅恢复依赖于变化特征的项，从而确保方法的可解释性与准确性。

实验结果

研究问题

• RQ1 如何重新定义边际效应，使其在非线性预测函数中更具可解释性和准确性？
• RQ2 用前向差分替代导数对特征效应估计有何影响？
• RQ3 如何在非线性模型中合理估计多变量特征效应？
• RQ4 在可解释性目的下，预测函数中非线性度量的有效形式是什么？
• RQ5 如何改进全局平均边际效应，以反映不同数据子群体中特征效应的异质性？

主要发现

• 前向边际效应（fMEs）通过使用步长h内的实际预测差异，为基于导数的边际效应提供了更直观、更具可解释性的替代方案。
• fMEs可自然推广至多变量特征变化，实现对联合效应的估计，且无需依赖导数。
• 所提出的非线性度量量化了预测函数偏离线性的程度，有助于识别传统边际效应具有误导性的区域。
• 在特征子空间划分上计算的条件平均边际效应，通过捕捉不同数据区域中的异质性特征效应，优于全局平均边际效应。
• 建立了fMEs与个体条件期望（ICE）曲线差异之间的理论等价性，验证了该方法与现有可解释性技术的一致性。
• fMEs仅恢复预测函数中依赖于变化特征的项，确保了方法的准确性和可解释性。