[论文解读] From interpretability to inference: an estimation framework for universal approximators

Andreas Joseph|arXiv (Cornell University)|Mar 11, 2019

Statistical Methods and Inference被引用 27

一句话总结

本文提出了一种新颖的推理框架，通过利用Shapley-Taylor分解，将复杂模型的预测转化为线性、可解释的空间，从而实现使用通用函数逼近器（如神经网络）进行参数统计推理。该方法在保持模型灵活性的同时支持假设检验和置信区间构建，关键结果表明在误差一致性条件下实现了稳定的估计与有效的推理。

ABSTRACT

We present a novel framework for estimation and inference with the broad class of universal approximators. Estimation is based on the decomposition of model predictions into Shapley values. Inference relies on analyzing the bias and variance properties of individual Shapley components. We show that Shapley value estimation is asymptotically unbiased, and we introduce Shapley regressions as a tool to uncover the true data generating process from noisy data alone. The well-known case of the linear regression is the special case in our framework if the model is linear in parameters. We present theoretical, numerical, and empirical results for the estimation of heterogeneous treatment effects as our guiding example.

研究动机与目标

• 解决灵活机器学习模型（如神经网络和树集成模型）缺乏统计推理能力的问题。
• 通过将非参数预测转化为参数回归框架，弥合模型可解释性与正式统计推理之间的鸿沟。
• 实现在机器学习模型中对复杂非线性效应和高阶交互作用进行假设检验与置信区间构建。
• 为复杂机器学习模型的结果提供标准化、可解释的沟通格式，尤其适用于实验场景。
• 为所提出框架中使用的非参数估计器建立理论一致性与偏差性质，确保在大样本条件下推理的可靠性。

提出的方法

• 应用Shapley-Taylor分解将模型预测分解为单个特征及其交互作用的贡献，构成代理线性模型的基础。
• 将所得分解结果用作代理参数回归模型中的生成回归变量，从而支持标准推理程序。
• 在Shapley值展开所张成的空间中构建线性模型，其中系数对应于可解释的效应估计。
• 利用通用逼近器的误差一致性：随着样本量增加，估计模型收敛于真实数据生成过程。
• 通过在不同正则性条件下证明一致性，同时处理分析模型（如神经网络、SVM）与非分析模型（如树集成模型）。
• 引入高阶Shapley-Taylor指数作为显式处理函数，以识别随机实验中的复杂处理路径。

实验结果

研究问题

• RQ1 我们能否对通用函数逼近器（如神经网络）进行有效的参数推理（如假设检验与置信区间）？
• RQ2 如何将灵活的非参数模型的预测转化为适合标准参数推理的形式，同时保持可解释性？
• RQ3 基于Shapley的代理回归框架在何种理论条件下能确保估计的一致性与无偏性？
• RQ4 高阶Shapley-Taylor指数如何用于揭示实验数据中复杂的非线性处理效应与交互作用路径？
• RQ5 该框架在多大程度上通过在不假设已知数据随机模型的前提下实现推理，弥合了Breiman所提出的‘两种文化’之间的鸿沟？

主要发现

• 所提出的Shapley回归框架通过Shapley-Taylor分解将预测转化为线性、可解释空间，实现了对通用逼近器的有效参数推理，包括假设检验与置信区间构建。
• 在误差一致性条件下，随着样本量增加，真实模型参数与估计模型参数之间的差异趋于消失，从而确保了代理模型系数的渐近一致性。
• 对于分析模型（如神经网络），该框架依赖于泰勒展开与可微性，且在大样本条件下剩余项趋于消失。
• 对于非分析模型（如树集成模型），该框架通过叶节点期望的收敛性来保证一致性，即使在不可微条件下亦成立。
• 通过基于高阶Shapley-Taylor指数的显式处理函数，该方法支持对非线性和高阶效应的估计，从而能够检测复杂的处理路径。
• 该框架通过理论验证确保代理模型系数收敛于真实效应参数，如在大样本条件下真实与估计Shapley分量之间的差异趋于消失所示。