[论文解读] All Models are Wrong but many are Useful: Variable Importance for Black-Box, Proprietary, or Misspecified Prediction Models, using Model Class Reliance

Aaron Fisher, Cynthia Rudin+1 more|arXiv (Cornell University)|Jan 4, 2018

Statistical Methods and Bayesian Inference被引用 87

一句话总结

本文提出模型类别依赖度（MCR），一种用于评估预定义模型类别中所有表现良好模型的变量重要性的方法，解决了黑箱或专有模型中变量重要性不稳定的难题。通过推导概率边界，并将基于置换的变量重要性与U-统计量及因果效应相联系，MCR为评估在再犯预测模型中对种族和性别等预测变量的依赖程度，提供了一个稳健且可推广的框架。

ABSTRACT

Variable importance (VI) tools describe how much covariates contribute to a prediction model's accuracy. However, important variables for one well-performing model (for example, a linear model $f(\mathbf{x})=\mathbf{x}^{T}\beta$ with a fixed coefficient vector $\beta$) may be unimportant for another model. In this paper, we propose model class reliance (MCR) as the range of VI values across all well-performing model in a prespecified class. Thus, MCR gives a more comprehensive description of importance by accounting for the fact that many prediction models, possibly of different parametric forms, may fit the data well. In the process of deriving MCR, we show several informative results for permutation-based VI estimates, similar to the VI measures used in Random Forests. Specifically, we derive connections between permutation importance estimates for a single prediction model, U-statistics, conditional causal effects, and linear model coefficients. We then give probabilistic bounds for MCR, using a novel, generalizable technique. We apply MCR in a public dataset of Broward County criminal records to study the reliance of recidivism prediction models on sex and race. In this application, MCR can be used to help inform VI for unknown, proprietary models.

研究动机与目标

• 解决在黑箱或专有系统中，不同拟合良好的模型之间变量重要性度量的不稳定性问题。
• 开发一种全面的变量重要性度量，考虑模型类别变异性，而非依赖于单一模型。
• 使用一种新颖且可推广的技术，为基于置换的变量重要性估计推导概率边界。
• 通过量化对种族和性别等敏感属性的依赖程度，为高风险预测模型（如再犯风险工具）中的伦理和可解释性问题提供支持。

提出的方法

• 将模型类别依赖度（MCR）定义为在预设模型类别中所有表现良好模型的变量重要性值的范围。
• 使用基于置换的变量重要性估计，并将其与U-统计量关联，以推导理论性质和稳定性保证。
• 建立基于置换的重要性与条件因果效应以及线性模型系数之间的联系，以增强可解释性。
• 使用一种新颖且可推广的技术，为MCR推导概率边界，适用于多种模型类别和数据类型。
• 将MCR应用于布劳沃德县刑事记录的公开数据集，以评估在再犯预测模型中对性别和种族的依赖程度。

实验结果

研究问题

• RQ1 在给定模型类别中，不同表现良好模型的变量重要性如何变化？
• RQ2 基于置换的变量重要性估计能否与U-统计量和因果效应建立正式联系？
• RQ3 当模型形式不确定或未知时，变量重要性的概率边界是什么？
• RQ4 MCR如何帮助评估专有或黑箱模型对种族和性别等敏感属性的依赖程度？
• RQ5 MCR在多大程度上能提升现实世界预测系统中的可解释性和公平性评估？

主要发现

• MCR提供了模型类别中所有表现良好模型的变量重要性值范围，相较于单一模型的重要性度量，提供了更稳健和全面的评估。
• 基于置换的变量重要性估计与U-统计量之间建立了正式联系，使得理论分析和稳定性评估成为可能。
• 该方法建立了基于置换的重要性与条件因果效应之间的联系，增强了预测建模中的可解释性。
• 使用一种新颖且可推广的技术，推导出MCR的概率边界，即使在模型形式未知的情况下，也能支持推断。
• 在布劳沃德县再犯数据集中，MCR揭示了在拟合良好的模型中，对种族和性别的依赖程度存在显著差异，凸显了模型类别的依赖性。
• MCR使得在无法访问内部结构的专有或黑箱模型中，也能实现有意义的变量重要性评估。