[论文解读] Computationally Efficient Feature Significance and Importance for Machine Learning Models

Enguerrand Horel, Kay Giesecke|arXiv (Cornell University)|May 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 30被引用 8

一句话总结

本文提出单特征引入检验（SFIT），一种计算高效、非渐近的统计方法，用于评估机器学习模型中特征的统计显著性与重要性，无需重新训练模型。SFIT通过比较引入与不引入某特征时的模型损失来评估每个特征的贡献，从而在保持有限样本统计保证的前提下，稳健检测显著特征及高阶交互作用，适用于多种模型类型与数据分布。

ABSTRACT

We develop a simple and computationally efficient significance test for the features of a machine learning model. Our forward-selection approach applies to any model specification, learning task and variable type. The test is non-asymptotic, straightforward to implement, and does not require model refitting. It identifies the statistically significant features as well as feature interactions of any order in a hierarchical manner, and generates a model-free notion of feature importance. Experimental and empirical results illustrate its performance.

研究动机与目标

• 开发一种计算高效、无需模型假设的机器学习模型特征显著性检验方法。
• 在无需重新训练模型的前提下，以层次化方式识别统计显著的特征及高阶交互作用。
• 提供一种稳健的非渐近显著性检验，对特征相关性不敏感，且不假设数据或模型分布。
• 为高维设置下计算成本高昂或仅渐近有效的显著性检验提供实用且易于实现的替代方案。
• 通过识别关键预测特征与交互作用，实现对复杂模型（如神经网络）的可解释性分析。

提出的方法

• SFIT采用前向选择方法，通过比较仅含截距项的模型与含截距项加单个特征的模型之间的损失差异来评估特征贡献。
• 该方法基于引入特征后损失的减少量计算检验统计量，作为其边际贡献的度量。
• 通过模型随机化程序估计显著性检验的临界值，无需自助抽样或渐近近似，从而控制第一类错误。
• 该方法可通过层次化顺序测试组合方式自然扩展至高阶特征交互作用。
• 对于神经网络，该方法利用参数结构减少高阶交互作用测试的搜索空间。
• 无需从特征的条件分布中采样，也无需假设特定模型形式，因此具有广泛适用性。

实验结果

研究问题

• RQ1 能否开发一种既计算高效又在有限样本下有效的特征显著性检验，且无需重新训练模型？
• RQ2 在高相关性与噪声环境下，SFIT在检测显著特征与交互作用方面的表现如何？
• RQ3 SFIT在计算效率与对共线性的鲁棒性方面，相较于LOCO与敲扑法（knockoffs）等现有方法，优势有多大？
• RQ4 SFIT能否在不损害预测性能的前提下，可靠识别深度神经网络等复杂模型中的关键特征？
• RQ5 SFIT中的参数α与β如何影响第一类错误控制与统计功效之间的权衡？

主要发现

• 在模拟实验中，SFIT在高相关性回归设置下正确识别出两个显著特征，而LOCO因共线性影响未能检测到任一特征的显著性，SFIT在100%的案例中正确识别了显著性。
• 与LOCO相比，SFIT在计算效率方面表现更优，运行时间显著缩短，尤其在高维设置下优势明显。
• 该方法保持了强大的第一类错误控制能力，在多个模拟场景中，经验错误率均接近名义显著性水平α。
• 在UCI信用卡违约数据集上，SFIT从75个特征中识别出24个一阶显著特征，未检测到显著的二阶交互作用。
• 在24个选定特征上重新训练神经网络后，性能仅出现轻微下降，AUC从0.775降至0.765，平衡准确率从0.707降至0.701。
• 模型随机化程序成功估计了临界值β，使实际第一类错误控制有效。