[论文解读] Adapting and Evaluating Influence-Estimation Methods for Gradient-Boosted Decision Trees

Jonathan Brophy, Zayd Hammoudeh+1 more|arXiv (Cornell University)|Apr 30, 2022

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

该论文将深度学习中的影响估计方法——TracIn 和表示点（representer-point）技术——适配于梯度提升决策树（GBDTs），提出 BoostIn 和 TREX。BoostIn 在影响估计方面达到最先进性能，同时比留一法重训练快四个数量级，在 22 个真实世界数据集上实现了高效且准确的 GBDT 模型归因。

ABSTRACT

Influence estimation analyzes how changes to the training data can lead to different model predictions; this analysis can help us better understand these predictions, the models making those predictions, and the data sets they're trained on. However, most influence-estimation techniques are designed for deep learning models with continuous parameters. Gradient-boosted decision trees (GBDTs) are a powerful and widely-used class of models; however, these models are black boxes with opaque decision-making processes. In the pursuit of better understanding GBDT predictions and generally improving these models, we adapt recent and popular influence-estimation methods designed for deep learning models to GBDTs. Specifically, we adapt representer-point methods and TracIn, denoting our new methods TREX and BoostIn, respectively; source code is available at https://github.com/jjbrophy47/tree_influence. We compare these methods to LeafInfluence and other baselines using 5 different evaluation measures on 22 real-world data sets with 4 popular GBDT implementations. These experiments give us a comprehensive overview of how different approaches to influence estimation work in GBDT models. We find BoostIn is an efficient influence-estimation method for GBDTs that performs equally well or better than existing work while being four orders of magnitude faster. Our evaluation also suggests the gold-standard approach of leave-one-out (LOO) retraining consistently identifies the single-most influential training example but performs poorly at finding the most influential set of training examples for a given target prediction.

研究动机与目标

• 为解决梯度提升决策树（GBDTs）缺乏高效、准确的影响估计方法的问题，这类模型虽强大但缺乏可解释性。
• 将原本为深度学习设计的影响估计技术适配于 GBDTs，而 GBDTs 具有离散、不可微分的参数。
• 使用定量、与操作相关的指标，在真实世界的 GBDT 模型上评估并比较多种影响估计方法。
• 识别对模型预测最具影响力的训练样本，并评估其在移除或修改后对模型性能的影响。
• 提供 GBDT 中影响估计的全面基准，涵盖运行时间、准确率以及对数据扰动的鲁棒性。

提出的方法

• 通过追踪梯度更新在提升轮次中的变化，将动态影响估计方法 TracIn 适配于 GBDTs，提出 BoostIn。
• 通过将模型预测表示为训练样本的加权和，将表示点方法适配于 GBDTs，提出 TREX。
• 利用影响分数对训练样本进行排序，随后评估移除或修改排名靠前样本后的模型性能。
• 采用留一法（LOO）重训练作为影响估计的黄金标准，将所有方法与之进行比较。
• 使用多种指标评估方法：损失、准确率、AUC，以及在添加噪声或修正标签后的性能表现。
• 在四种 GBDT 实现（XGBoost、LightGBM、CatBoost、Scikit-learn）和 22 个真实世界数据集上计算影响分数。

实验结果

研究问题

• RQ1 受深度学习启发的影响估计方法在梯度提升决策树上泛化效果如何？
• RQ2 TracIn 和表示点方法的适配版本是否在准确率和效率上均优于现有的 GBDT 影响估计方法？
• RQ3 影响估计性能在不同模型架构、数据类型（分类/回归）和评估指标之间如何变化？
• RQ4 留一法重训练是否仍是识别最具影响力训练样本集合的最可靠方法，而不仅仅是单个样本？
• RQ5 不同方法的影响分数之间相关性如何？这对其一致性与可靠性有何启示？

主要发现

• 在移除最具影响力的训练样本后，BoostIn 在最小化测试损失方面优于所有其他方法，且在各数据集上的平均排名最高。
• BoostIn 比留一法重训练快四个数量级，以极低的计算成本实现了相当或更优的性能。
• TREX 和 TreeSim 在移除影响样本后表现出色，尤其在标签修正任务中显著提升了准确率和 AUC。
• 留一法重训练始终能可靠识别出单个最具影响力的训练样本，但无法有效识别最具影响力的样本集合。
• 不同方法在回归数据集上的影响分数相关性较低，表明各方法行为具有特异性，且在不同评估标准间一致性有限。
• BoostIn（自影响）——即衡量每个样本对其自身的影响力——在标签修正任务中表现具有竞争力，表明自影响是一个识别误标数据的强有效启发式方法。