[论文解读] Fast TreeSHAP: Accelerating SHAP Value Computation for Trees

Jilei Yang|arXiv (Cornell University)|Sep 20, 2021

Explainable Artificial Intelligence (XAI)参考文献 29被引用 44

一句话总结

本论文提出 Fast TreeSHAP v1 和 v2，以加速基于树的模型的 SHAP 值计算，v1 约实现 1.5x 的速度提升，v2 实现 2.5x–3x，尤其在多次解释场景下在适度内存成本下受益。

ABSTRACT

SHAP (SHapley Additive exPlanation) values are one of the leading tools for interpreting machine learning models, with strong theoretical guarantees (consistency, local accuracy) and a wide availability of implementations and use cases. Even though computing SHAP values takes exponential time in general, TreeSHAP takes polynomial time on tree-based models. While the speedup is significant, TreeSHAP can still dominate the computation time of industry-level machine learning solutions on datasets with millions or more entries, causing delays in post-hoc model diagnosis and interpretation service. In this paper we present two new algorithms, Fast TreeSHAP v1 and v2, designed to improve the computational efficiency of TreeSHAP for large datasets. We empirically find that Fast TreeSHAP v1 is 1.5x faster than TreeSHAP while keeping the memory cost unchanged. Similarly, Fast TreeSHAP v2 is 2.5x faster than TreeSHAP, at the cost of a slightly higher memory usage, thanks to the pre-computation of expensive TreeSHAP steps. We also show that Fast TreeSHAP v2 is well-suited for multi-time model interpretations, resulting in as high as 3x faster explanation of newly incoming samples.

研究动机与目标

• 在工业领域的大规模树集成模型上，激发对加速 SHAP 值计算的需求。
• 分析并改进 TreeSHAP 在大样本规模下的计算步骤。
• 提出两种变体 Fast TreeSHAP v1 和 v2，具有理论和经验层面的加速。
• 评估一次性与多次解释场景中速度与内存使用之间的权衡。

提出的方法

• 推导并简化树的 SHAP 值计算，以识别 TreeSHAP 的瓶颈。
• 通过将子集大小跟踪限定在满足路径阈值的子集上来开发 Fast TreeSHAP v1，从而减少平均工作量。
• 通过对所有 C ⊆ D_k 预先计算子树贡献 U_{D_k,C} 来开发 Fast TreeSHAP v2，以在时间与空间之间进行权衡。
• 提供复杂度分析，显示 v1 和 v2 的理论时间/空间改进。
• 实现 v2 的 Prep 与 Score 阶段，以实现对新数据的预计算和快速打分。
• 在多个数据集上评估性能，并与原始 TreeSHAP 和 Fast TreeSHAP v1 进行比较。

实验结果

研究问题

• RQ1 如何重新表述 TreeSHAP 的计算以降低树集成的时间复杂度？
• RQ2 在大数据集和不同模型规模下，修改后的 TreeSHAP 算法的实际加速是多少？
• RQ3 对树上的 SHAP 进行子树贡献预计算时，内存-时间权衡是多少？
• RQ4 在何种场景（一次性解释 vs 多次解释）下 Fast TreeSHAP v2 能提供最大的收益？

主要发现

• Fast TreeSHAP v1 在相同内存占用下，计算速度大约比 TreeSHAP 快 1.5 倍。
• Fast TreeSHAP v2 相较于 TreeSHAP，实现约 2.5x–3x 的加速，内存使用有所增加但适中。
• Fast TreeSHAP v2 由于其预计算步骤，特别适用于多次模型解释。
• 在不同数据集和模型规模下，Fast TreeSHAP v2 的加速随着模型规模增大而更大，并且对较大模型的预处理时间也会增加。
• 对于平衡树，Fast TreeSHAP v2 在 Score 阶段可以实现线性时间缩放的改进，实际可达 3x 的加速。
• SHAP 值的精度在数值精度范围内保持与原始 TreeSHAP 一致。