[論文レビュー] Born-Again Tree Ensembles

Thibaut Vidal, Toni Pacheco+1 more|arXiv (Cornell University)|Mar 24, 2020

Explainable Artificial Intelligence (XAI)参考文献 50被引用数 22

ひとこと要約

本稿では、与えられた木アンサンブルの全特徴空間における予測を正確に再現する、1つの最小サイズの意思決定木（「生まれ変わった木」として呼ばれる）を構築する最適な動的計画法を提案する。この手法は、正確性を損なわずに、証明可能な最適な単純化を達成し、ファイナンスや医療などハイリスク分野における高い解釈可能性を実現する。

ABSTRACT

The use of machine learning algorithms in finance, medicine, and criminal justice can deeply impact human lives. As a consequence, research into interpretable machine learning has rapidly grown in an attempt to better control and fix possible sources of mistakes and biases. Tree ensembles offer a good prediction quality in various domains, but the concurrent use of multiple trees reduces the interpretability of the ensemble. Against this background, we study born-again tree ensembles, i.e., the process of constructing a single decision tree of minimum size that reproduces the exact same behavior as a given tree ensemble in its entire feature space. To find such a tree, we develop a dynamic-programming based algorithm that exploits sophisticated pruning and bounding rules to reduce the number of recursive calls. This algorithm generates optimal born-again trees for many datasets of practical interest, leading to classifiers which are typically simpler and more interpretable without any other form of compromise.

研究の動機と目的

• ファイナンス、医療、刑事司法などのハイリスク分野における解釈可能な機械学習モデルの重要なニーズに対応すること。
• 木アンサンブルにおける予測性能と解釈可能性のトレードオフを解消し、より単純で同等の表現を見つけること。
• 与えられた木アンサンブルのすべての入力特徴に対して動作を忠実に再現する最小サイズの意思決定木を形式的に定義し、その構築問題を解くこと。
• 実用的データセットにスケーリング可能な効率的なアルゴリズム（最適およびヒューリスティック）を開発し、予測の正確性を維持すること。
• 生まれ変わった木の構造的性質を調査し、後方刈り込みを用いて、正確性を損なわずにモデルをさらに単純化する方法を検討すること。

提案手法

• すべての x ∈ ℝ^p に対して F_T(x) = F_T(x) を満たす最小の意思決定木 T を見つけることとして、生まれ変わった木アンサンブル問題を形式化し、サイズは深さ（D）、リーフ数（L）、または階層的目的関数（DL）で測定する。
• 再帰呼び出しを削減し、計算効率を向上させるために、高度な刈り込みと境界ルールを備えた動的計画法アルゴリズムを開発する。
• 3-SATへの還元を用いて、すべてのサイズ目的関数下で問題がNP困難であることを証明し、理論的非効率性を確立する。
• 候補となる分割をランダムにサンプリングし、同質性の検査に整数プログラミングを用いることで、忠実性を保ちつつ実行時間を短縮するヒューリスティックな変種を導入する。
• きめ細かな境界と再帰的分解を用いて、アンサンブルの意思決定関数が変化する領域に焦点を当て、特徴空間を効率的に探索する。
• 予測精度を損なわずに構造をさらに単純化するため、生まれ変わった木に対して後方刈り込みを適用し、解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 全特徴空間にわたり、木アンサンブルの予測関数を正確に再現する1つの意思決定木を構築できるか？
• RQ2 深さ、リーフ数、または階層的目的関数の観点から、そのような木の最小サイズを求める計算複雑性はどの程度か？
• RQ3 最適およびヒューリスティックなアルゴリズムは、実世界のデータセットにどの程度スケーリング可能であり、予測の正確性を維持できるか？
• RQ4 生まれ変わった木はどのような構造的特性を示し、表現不能または冗長な領域はアンサンブルの挙動にどのように寄与するか？
• RQ5 後方刈り込みにより、生まれ変わった木をさらに単純化できるか？ その場合、性能に悪影響を及ぼさずに解釈可能性はどのように変化するか？

主な発見

• すべてのサイズ目的関数下で、生まれ変わった木問題はNP困難であることが確認され、最小表現を求める理論的非効率性が裏付けられた。
• 提案された動的計画法アルゴリズムは、複数の実用的データセットに対して最適な生まれ変わった木を計算し、深さとリーフ数の両面で証明可能な最小性を達成した。
• ヒューリスティックなアルゴリズムは、平均計算時間を最適L目的関数の234.28秒から0.28秒に短縮したが、リーフ数は平均20.10%増加、深さは22.53%増加した。
• 6つの多様なデータセットにおいて、ヒューリスティック手法はBCデータセットで平均44.80%の深さギャップと48.37%のリーフギャップを示し、速度と最適性のトレードオフを明らかにした。
• 後方刈り込みにより、生まれ変わった木が著しく単純化され、正確性に影響を与えずに高解釈性かつ高性能なモデルが得られた。
• アルゴリズムは、Ionosphere、Spambase、Miniboone（130k件以上のサンプル、50の特徴）といった大規模データセットにも成功裏にスケーリングされ、ヒューリスティック版では1分未満で実行された。