[论文解读] Nonparametric Feature Impact and Importance

Terence Parr, James Wilson+1 more|arXiv (Cornell University)|Jun 8, 2020

Data Analysis with R被引用 7

一句话总结

本文提出一种非参数方法，直接从数据中计算特征影响与重要性，利用部分依赖曲线，避免依赖拟合模型。该方法引入了StratImpact原型，通过数值特征的部分依赖曲线下方面积（或分类特征的均值中心化部分依赖）来计算特征影响，在真实数据集上实现与基于模型的方法相当的特征选择性能，且验证误差更低。

ABSTRACT

Practitioners use feature importance to rank and eliminate weak predictors during model development in an effort to simplify models and improve generality. Unfortunately, they also routinely conflate such feature importance measures with feature impact, the isolated effect of an explanatory variable on the response variable. This can lead to real-world consequences when importance is inappropriately interpreted as impact for business or medical insight purposes. The dominant approach for computing importances is through interrogation of a fitted model, which works well for feature selection, but gives distorted measures of feature impact. The same method applied to the same data set can yield different feature importances, depending on the model, leading us to conclude that impact should be computed directly from the data. While there are nonparametric feature selection algorithms, they typically provide feature rankings, rather than measures of impact or importance. They also typically focus on single-variable associations with the response. In this paper, we give mathematical definitions of feature impact and importance, derived from partial dependence curves, that operate directly on the data. To assess quality, we show that features ranked by these definitions are competitive with existing feature selection techniques using three real data sets for predictive tasks.

研究动机与目标

• 解决特征重要性（基于模型）与特征影响（基于数据）之间普遍存在的混淆问题，该混淆可能导致错误的商业或医疗决策。
• 开发一种直接从数据计算特征影响的方法，独立于任何拟合模型，以避免模型假设带来的失真。
• 为非专家（如业务分析师）提供一种实用、易用的工具，其无需掌握模型选择与调优的专业知识。
• 证明无需模型的特征影响估计可实现与现有基于模型的技术相当的预测性能排名。
• 将非参数特征选择从简单的排名扩展为提供可解释、定量的影响力度量。

提出的方法

• 将特征影响在数学上定义为数值特征的理想部分依赖曲线（PD）下的面积，或分类特征的均值中心化PD。
• 使用分层抽样非参数估计部分依赖曲线，以保持特征与响应变量的联合分布。
• 将特征重要性计算为部分依赖曲线的加权积分，其中权重来自特征的边际分布。
• 使用StratPD和CatStratPD算法在真实世界数据上高效且准确地估计部分依赖曲线。
• 在Python中实现原型工具StratImpact，无需模型预测或超参数调优即可计算特征影响。
• 在性能关键部分使用Numba JIT编译优化，尽管受Python GIL限制，仍提升了运行时性能。

实验结果

研究问题

• RQ1 是否可以不依赖拟合模型的预测结果，有意义地定义并计算特征影响？
• RQ2 基于非参数、数据驱动的特征影响方法，在预测性能方面是否能与基于模型的方法竞争？
• RQ3 与SHAP、置换重要性及Spearman等级相关系数等既定技术相比，无模型的特征影响估计在识别最具预测性的特征方面表现如何？
• RQ4 无模型方法是否能提供可解释、定量的影响力值，真实反映数据关系而非模型特异性失真？
• RQ5 在实践中，非参数、无模型方法在特征影响计算方面存在哪些计算权衡？

主要发现

• StratImpact的特征影响排名在真实世界Kaggle数据集上的验证误差仅为基于模型方法选择的前几名特征的一半，表明其预测性能更优。
• 该方法在不同数据类型（包括数值与分类特征）上均表现出稳健性，通过数值特征的PD曲线下方面积和分类特征的均值中心化PD实现。
• 尽管未使用模型预测，StratImpact的特征排名在前八名中与置换重要性、SHAP及Spearman等级相关系数相当，表现优异。
• 该原型展示了实际的运行时性能：在无分类变量的数据集上呈线性扩展，在含分类变量的数据集上呈二次扩展，对数万个样本仍具可行性。
• 使用Numba JIT编译显著提升了热点区域的性能，但Python的GIL限制了通过多线程或多进程并行化的收益。
• 研究发现，Spearman等级相关系数和置换重要性等简单快捷的方法在前驱特征排名中表现良好，表明无模型方法可与之匹敌甚至超越其准确性。