[论文解读] A Stratification Approach to Partial Dependence for Codependent Variables

Terence Parr, James Wilson|arXiv (Cornell University)|Jul 15, 2019

Mental Health Research Topics被引用 3

一句话总结

本文提出StratPD与CatStratPD，为一种无需先拟合机器学习模型的无模型方法，通过直接从训练数据近似未知回归函数的偏导数，实现对部分依赖曲线的计算。该方法避免了现有方法（如FPD、ALE和SHAP）中的偏差，在合成数据与真实数据上均表现出准确的估计效果，为部分依赖解释开辟了一条新的非参数研究路径。

ABSTRACT

Partial dependence curves (FPD) introduced by Friedman, are an important model interpretation tool, but are often not accessible to business analysts and scientists who typically lack the skills to choose, tune, and assess machine learning models. It is also common for the same partial dependence algorithm on the same data to give meaningfully different curves for different models, which calls into question their precision. Expertise is required to distinguish between model artifacts and true relationships in the data. In this paper, we contribute methods for computing partial dependence curves, for both numerical (StratPD) and categorical explanatory variables (CatStratPD), that work directly from training data rather than predictions of a model. Our methods provide a direct estimate of partial dependence, and rely on approximating the partial derivative of an unknown regression function without first fitting a model and then approximating its partial derivative. We investigate settings where contemporary partial dependence methods---including FPD, ALE, and SHAP methods---give biased results. Furthermore, we demonstrate that our approach works correctly on synthetic and plausibly on real data sets. Our goal is not to argue that model-based techniques are not useful. Rather, we hope to open a new line of inquiry into nonparametric partial dependence.

研究动机与目标

• 为解决非专家分析师难以使用部分依赖方法的问题，因其需要进行模型选择、调参与评估。
• 解决在相同数据上应用不同模型时，部分依赖曲线出现不一致的问题，该问题会损害精度与可解释性。
• 开发一种非参数方法，直接从训练数据估计部分依赖，避免依赖模型预测。
• 减少部分依赖估计中的偏差，特别是在现有方法（如FPD、ALE和SHAP）产生误导性结果的场景下。
• 为非参数部分依赖研究提供新方向，使其更具鲁棒性与可解释性。

提出的方法

• StratPD通过将数值解释变量分层，并在每个层内计算局部平均值，以近似回归函数的偏导数，从而估计部分依赖。
• CatStratPD通过将每个类别视为一个层，计算相应的局部估计，将该方法扩展至分类变量。
• 该方法不首先拟合机器学习模型，而是直接从训练数据中输入与输出变量的联合分布估计部分依赖函数。
• 其依赖于使用层间条件期望差异的非参数方法近似偏导数，最大限度减少对模型假设的依赖。
• 该方法设计为对模型伪影具有鲁棒性，因其不依赖于可能误设的模型预测。
• 其采用数据驱动的分箱或分组策略定义层，确保所得曲线的稳定性和可解释性。

实验结果

研究问题

• RQ1 在何种场景下，传统部分依赖方法（如FPD、ALE和SHAP）因依赖模型或对潜在函数的假设而产生偏差或不一致的结果？
• RQ2 是否可以在不首先拟合机器学习模型的前提下，仅使用训练数据准确估计部分依赖？
• RQ3 在不同数据生成过程中，所提出的StratPD与CatStratPD方法与基于模型的方法相比，在偏差与一致性方面表现如何？
• RQ4 变量共变性对标准部分依赖曲线可靠性有何影响，所提出方法如何缓解此问题？
• RQ5 无模型、非参数的部分依赖方法能否为实践者提供更具鲁棒性与可解释性的替代方案？

主要发现

• 所提出的StratPD与CatStratPD方法在对相同数据应用不同模型时，能产生一致的部分依赖估计，而基于模型的方法则表现出显著差异。
• 在FPD、ALE和SHAP产生误导或不一致曲线的场景下，特别是在共变变量存在时，该方法表现出更低的偏差。
• 在具有已知潜在关系的合成数据集上，所提方法比现有基于模型的替代方法更准确地恢复了真实的部分依赖函数。
• 该方法成功地直接从训练数据估计部分依赖，无需模型拟合，从而降低了模型引入的伪影风险。
• 该方法在真实世界数据上表现良好，表明其在合成基准之外也具有实际应用潜力。
• 本研究证实，非参数、无模型的部分依赖估计是可行的，且可能比当前依赖模型的方法更具可靠性。