[論文レビュー] Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable

Sarah Tan, Matvey Soloviev+2 more|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 49被引用数 37

ひとこと要約

本稿では、勾配ブースティングツリーから導出された新しい距離関数を用いて、ツリー集合モデルにおける各クラスの代表例であるツリースペースプロトタイプを提案する。k-メディオイド近似を用いた適応的でクラスに特化したプロトタイプ選択により、元のアンサンブルと同等またはそれ以上の精度を達成するとともに、人間の解釈性研究においてシャープレー値を上回り、特徴量の寄与度に代わるプロトタイプベースの解釈性の代替手段を提供する。

ABSTRACT

Ensembles of decision trees perform well on many problems, but are not interpretable. In contrast to existing approaches in interpretability that focus on explaining relationships between features and predictions, we propose an alternative approach to interpret tree ensemble classifiers by surfacing representative points for each class -- prototypes. We introduce a new distance for Gradient Boosted Tree models, and propose new, adaptive prototype selection methods with theoretical guarantees, with the flexibility to choose a different number of prototypes in each class. We demonstrate our methods on random forests and gradient boosted trees, showing that the prototypes can perform as well as or even better than the original tree ensemble when used as a nearest-prototype classifier. In a user study, humans were better at predicting the output of a tree ensemble classifier when using prototypes than when using Shapley values, a popular feature attribution method. Hence, prototypes present a viable alternative to feature-based explanations for tree ensembles.

研究の動機と目的

• ツリー集合分類器における解釈性の欠如に取り組む。これは、数百または数千本のツリーを持つため、強力ではあるが透明性に欠ける。
• 特徴量の重要度からではなく、各クラスごとの代表例に注目する、プロトタイプベースの解釈性フレームワークを提案する。
• 予測出力と特徴量の使用パターンの両方を反映する、勾配ブースティングツリー向けの新しい距離計測を設計する。
• クラスの複雑さに応じて、各クラスに異なる数のプロトタイプを選択できる、適応的プロトタイプ選択手法を設計する。
• 人間のユーザーによる研究を用いて、シャープレー値などの既存手法と比較して、プロトタイプの解釈性を評価する。

提案手法

• 勾配ブースティングツリー向けに、特徴量が予測にどのように寄与するかを捉える新しい距離関数を導入。これは、先行研究のRF距離をGBTに一般化したものである。
• k-メディオイド問題の近似アルゴリズムを適応し、新しい距離に基づいて各クラス内で中心的なプロトタイプを効率的に選択する。
• 理論的保証を備えたクラスに特化したプロトタイプ選択を提案。クラスの複雑さに応じて、各クラスに異なる数のプロトタイプを選択可能である。
• ツリースペースプロトタイプを最近傍プロトタイプ分類器として使用。これは、元のツリーエンsembleと同等またはそれ以上の精度を達成することがある。
• ユーザー研究を実施し、シャープレー値と比較して、プロトタイプを用いた場合のモデル動作の理解度を人間の被験者に評価する。
• 距離に基づく順序付けを用いて、汚染されたデータセットにおける誤標識点を同定。再訓練後のテストセット精度を向上させる点で、ランダムおよび損失ベースのベースラインを上回った。

実験結果

リサーチクエスチョン

• RQ1 ツリー集合の類似度に基づくプロトタイプは、特徴量ベースの説明よりも、モデル動作の理解をより直感的に行えるか？
• RQ2 勾配ブースティングツリー向けに、予測出力と特徴量使用パターンの両方を反映する距離関数をどのように設計できるか？
• RQ3 各クラスに異なる数のプロトタイプを許容することで、解釈性および分類性能が向上するか？
• RQ4 ツリースペースプロトタイプは、単体で正確な分類器として機能できるか？元のアンサンブルと同等またはそれを上回る性能を示せるか？
• RQ5 シャープレー値と比較して、プロトタイプはツリーエンsembleの予測を人間が理解するのをどの程度効果的に支援するか？

主な発見

• ユーザーによる研究において、シャープレー値よりもプロトタイプを用いた場合、ツリーエンsemble分類器の出力をより正確に予測できた。p値は約0.035であった。
• ツリースペースプロトタイプから構築した最近傍プロトタイプ分類器は、元のツリーエンsembleを上回るテスト精度を達成したことがある。これは、プロトタイプがモデルの予測能力を効果的に捉えていることを示している。
• 誤標識点同定のための距離ベースの順序付けは、汚染されたMNIST 4-9データに対して、ランダムおよび損失ベースの順序付けを上回り、再訓練後のテストセット精度を向上させた。
• 適応的プロトタイプ選択手法は、複雑なクラスのカバレッジを向上させたが、すべてのデータセットで性能向上が得られたわけではない。
• ツリースペースプロトタイプは強力な解釈性の可能性を示し、ツリー集合モデルにおける特徴量の寄与度に代わる、プロトタイプベースの説明が実用的である可能性を示唆している。
• 結果から、プロトタイプはモデルの説明にとどまらず、場合によってはより優れた単体分類器として機能する可能性があることが示された。