[論文レビュー] Adapting and Evaluating Influence-Estimation Methods for Gradient-Boosted Decision Trees

Jonathan Brophy, Zayd Hammoudeh+1 more|arXiv (Cornell University)|Apr 30, 2022

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

この論文は、深層学習の影響推定手法（TracInおよびrepresenter-point手法）を勾配ブースティング決定木（GBDT）に適応させ、BoostInおよびTREXを提案する。BoostInは、leave-one-out再訓練の4桁速い（10,000倍速い）にもかかわらず、影響推定において最先端の性能を達成し、22の実世界データセットにおけるGBDTモデルの効率的で正確な帰属割り当てを可能にする。

ABSTRACT

Influence estimation analyzes how changes to the training data can lead to different model predictions; this analysis can help us better understand these predictions, the models making those predictions, and the data sets they're trained on. However, most influence-estimation techniques are designed for deep learning models with continuous parameters. Gradient-boosted decision trees (GBDTs) are a powerful and widely-used class of models; however, these models are black boxes with opaque decision-making processes. In the pursuit of better understanding GBDT predictions and generally improving these models, we adapt recent and popular influence-estimation methods designed for deep learning models to GBDTs. Specifically, we adapt representer-point methods and TracIn, denoting our new methods TREX and BoostIn, respectively; source code is available at https://github.com/jjbrophy47/tree_influence. We compare these methods to LeafInfluence and other baselines using 5 different evaluation measures on 22 real-world data sets with 4 popular GBDT implementations. These experiments give us a comprehensive overview of how different approaches to influence estimation work in GBDT models. We find BoostIn is an efficient influence-estimation method for GBDTs that performs equally well or better than existing work while being four orders of magnitude faster. Our evaluation also suggests the gold-standard approach of leave-one-out (LOO) retraining consistently identifies the single-most influential training example but performs poorly at finding the most influential set of training examples for a given target prediction.

研究の動機と目的

• 勾配ブースティング決定木（GBDT）に対して、効率的で正確な影響推定手法が不足しているという問題に取り組む。GBDTは強力ではあるが、解釈が困難なモデルである。
• 深層学習向けに開発された影響推定技術を、離散的かつ微分不能なパラメータを持つGBDTに適応する。
• 定量的で操作依存の指標を用いて、実世界のGBDTモデルにおける複数の影響推定手法を評価・比較する。
• モデルの予測に最も影響を与えるトレーニング例を特定し、その削除または変更がモデル性能に与える影響を評価する。
• 実行時間、精度、データの摂動に対するロバストネスを含む、GBDTにおける影響推定の包括的ベンチマークを提供する。

提案手法

• 勾配ブースティングの各ラウンドにおける勾配更新を追跡することで、動的影響推定手法TracInをGBDTに適応させ、BoostInを導出する。
• モデルの予測をトレーニングインスタンスの重み付き和として表現することで、representer-point手法をGBDTに適応させ、TREXを導出する。
• 影響スコアを用いてトレーニング例を順位付けし、上位例を削除または変更した後のモデル性能を評価する。
• 影響推定のゴールドスタンダードとしてleave-one-out（LOO）再訓練を用い、すべての手法をこれと比較する。
• 損失、精度、AUC、ノイズ追加やラベル修正後の性能といった複数の指標を用いて手法を評価する。
• XGBoost、LightGBM、CatBoost、Scikit-learnの4つのGBDT実装および22の実世界データセットで影響スコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 深層学習に由来する影響推定手法は、勾配ブースティング決定木に一般化できるか？
• RQ2 TracInおよびrepresenter-pointの適応版は、既存のGBDT影響推定手法を精度および効率の両面で上回れるか？
• RQ3 影響推定の性能は、異なるモデルアーキテクチャ、データタイプ（分類／回帰）、評価指標によってどのように変化するか？
• RQ4 特に単一のインスタンスではなく、集合としての影響を特定する場合、leave-one-out再訓練が最も信頼できる手法のままであるか？
• RQ5 異なる手法間の影響スコアはどの程度相関するか？これは、それらの整合性と信頼性に何を示唆するか？

主な発見

• 最も影響力の強いトレーニング例を削除した後でも、BoostInはテスト損失を最小化する点で他のすべての手法を上回り、データセット全体で平均順位が最も高い。
• BoostInはleave-one-out再訓練よりも4桁速く、最小限の計算コストで同等またはより優れた性能を達成する。
• TREXおよびTreeSimは、特にラベル修正タスクにおいて、影響力のある例を削除した後の精度およびAUCの向上を強く示す。
• leave-one-out再訓練は、単一の最も影響力のあるトレーニング例を一貫して特定できるが、最も影響力のある例の集合を特定することはできない。
• 回帰データセットでは、異なる手法の影響スコアの相関が低く、評価基準に応じた手法固有の挙動と、評価基準間での整合性の欠如を示している。
• 自己影響（self-influence）を測定するBoostIn（self）は、ラベル修正タスクにおいて競争力のある性能を示し、誤標籤データを特定するための強力なヒューリスティックである可能性を示唆している。