[论文解读] Entropic Variable Boosting for Explainability and Interpretability in Machine Learning.

François Bachoc, Fabrice Gamboa+2 more|arXiv (Cornell University)|Oct 18, 2018

Explainable Artificial Intelligence (XAI)参考文献 27被引用 3

一句话总结

本文提出熵变变量增强（Entropic Variable Boosting），一种可扩展的方法，通过系统性地施加压力于每个输入变量并保持数据分布，来解释黑箱机器学习模型。该方法通过重加权参考样本而非生成新样本，高效计算变量重要性，在标准数据集上实现改进的可解释性，且计算开销极低。

ABSTRACT

In this paper, we present a new explainability formalism to make clear the impact of each variable on the predictions given by black-box decision rules. Our method consists in evaluating the decision rules on test samples generated in such a way that each variable is stressed incrementally while preserving the original distribution of the machine learning problem. We then propose a new computation-ally efficient algorithm to stress the variables, which only reweights the reference observations and predictions. This makes our methodology scalable to large datasets. Results obtained on standard machine learning datasets are presented and discussed.

研究动机与目标

• 解决黑箱机器学习模型中评估单个变量影响时缺乏清晰、分布保持方法的问题。
• 开发一种可扩展的方法，避免昂贵的数据生成过程，同时保持对原始数据分布的忠实性。
• 为现有特征归因方法提供一种计算高效的替代方案，以增强模型可解释性。
• 实现对每个变量的精确、渐进式压力测试，以量化其对模型预测的贡献。

提出的方法

• 该方法通过在保持数据集原始联合分布的前提下，逐步对每个输入变量施加压力来生成测试样本。
• 提出一种重加权策略，通过修改参考观测值和预测结果而非生成新的合成数据。
• 该方法利用基于熵的度量来量化变量施压对模型输出的影响。
• 变量重要性通过在输入空间中受控压力条件下模型预测的变化推导得出。
• 该算法设计为计算高效，通过避免完整数据重采样，实现对大规模数据集的可扩展性。
• 通过确保受压变量保持在合理的统计边界内，维持分布一致性。

实验结果

研究问题

• RQ1 如何在压力测试过程中以保持原始数据分布的方式测量变量重要性？
• RQ2 基于重加权的方法能否以显著降低的计算成本，实现与数据生成方法相当的可解释性？
• RQ3 该方法在多大程度上揭示了单个变量对模型预测的有意义且渐进的影响？
• RQ4 与传统特征归因技术相比，该方法在大规模数据集上的可扩展性如何？

主要发现

• 所提出的方法通过重加权现有数据点而非生成新数据，实现了可扩展的变量重要性估计。
• 在标准机器学习数据集上的结果表明，该方法有效捕捉了变量影响，同时保持了数据分布。
• 该方法表现出计算高效性，适用于数据生成成本过高的大规模数据集。
• 该方法提供了清晰、渐进的变量影响评估，增强了模型可解释性，且未牺牲保真度。