[论文解读] FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles

Ana Lučić, Harrie Oosterhuis+2 more|arXiv (Cornell University)|Nov 27, 2019

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

FOCUS 通过引入对不可微树结构的可微近似，提出了一种基于梯度的优化框架，用于在树集成模型中生成反事实解释。与先前方法相比，它生成的反事实样本与原始实例更加接近，从而为所有输入实例提供了有效、高效且可靠的解释。

ABSTRACT

Model interpretability has become an important problem in machine learning (ML) due to the increased effect that algorithmic decisions have on humans. Counterfactual explanations can help users understand not only why ML models make certain decisions, but also how these decisions can be changed. We frame the problem of finding counterfactual explanations as a gradient-based optimization task and extend previous work that could only be applied to differentiable models. In order to accommodate non-differentiable models such as tree ensembles, we use probabilistic model approximations in the optimization framework. We introduce an approximation technique that is effective for finding counterfactual explanations for predictions of the original model and show that our counterfactual examples are significantly closer to the original instances than those produced by other methods specifically designed for tree ensembles.

研究动机与目标

• 解决非可微树集成模型缺乏有效且可扩展的反事实解释方法的问题。
• 使随机森林和梯度提升机等模型能够基于梯度进行反事实生成优化。
• 生成与原始输入最小扰动但改变模型预测的反事实样本。
• 确保数据集中所有实例均可被解释，克服基于启发式搜索方法的局限性。
• 提供可操作且可解释的反事实解释，使其与现实世界中的特征趋势和用户上下文保持一致。

提出的方法

• 使用以分裂阈值为中心的Sigmoid函数来近似树集成中的每个树分裂，从而实现可微性。
• 用Softmax函数替代集成模型中的最大值操作，以创建整个模型输出的可微近似。
• 将反事实生成建模为基于梯度的优化问题，以在选定的距离度量下最小化扰动。
• 利用可微代理模型计算梯度，并优化输入特征，以实现最小变化下的预测改变。
• 支持灵活的距离函数（例如 L2、L1 或自定义函数），以根据特定用例定制反事实。
• 通过验证生成的反事实保持在合理特征范围内并符合领域预期，确保可行性。

实验结果

研究问题

• RQ1 基于梯度的优化能否有效应用于不可微的树集成模型以实现反事实解释？
• RQ2 与现有基于启发式的树集成方法相比，FOCUS 生成的反事实样本在与原始实例的接近度方面表现如何？
• RQ3 FOCUS 是否能够为数据集中的所有实例生成有效的反事实解释，而不同于以往方法的局限？
• RQ4 FOCUS 中建议的特征变更是否与领域期望和现实可行性一致？
• RQ5 FOCUS 中距离函数的灵活性是否提升了反事实解释的实用性和用户相关性？

主要发现

• 在三个评估指标下，FOCUS 生成的反事实样本与原始输入实例的距离显著小于基线方法。
• 该方法在接近度方面表现出优越性能，所有测试数据集和模型类型中均持续观察到改进。
• FOCUS 能够为数据集中每个实例成功生成有效的反事实解释，而基于启发式的方法在部分输入上会失败。
• 反事实建议与领域知识一致——例如，减少 NetFractionRevolvingBurden 并增加 ExternalRiskEstimate，表明其变化具有现实意义。
• 可微近似使优化效率更高，使 FOCUS 相较于基于穷举搜索的基线方法能够扩展到更大的树集成模型。
• 该方法支持灵活的距离函数，可针对不同用户需求和约束定制反事实，提升实用性。