[論文レビュー] Fast Interpretable Greedy-Tree Sums

Yan Shuo Tan, Chandan Singh+7 more|arXiv (Cornell University)|Jan 28, 2022

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

本論文は、データ内の加法的構造を捉えるために、同時に複数の決定木を成長させる和集合としての新しいアルゴリズムである Fast Interpretable Greedy-Tree Sums (FIGS) を提案する。単一の木に起因する帰納的バイアスを克服する。FIGS は高い解釈可能性を維持しながら最先端の予測性能を達成しており、G-FIGS という変種は臨床意思決定において感度を落とさずに特異性を最大20%向上させる。

ABSTRACT

Modern machine learning has achieved impressive prediction performance, but often sacrifices interpretability, a critical consideration in high-stakes domains such as medicine. In such settings, practitioners often use highly interpretable decision tree models, but these suffer from inductive bias against additive structure. To overcome this bias, we propose Fast Interpretable Greedy-Tree Sums (FIGS), which generalizes the CART algorithm to simultaneously grow a flexible number of trees in summation. By combining logical rules with addition, FIGS is able to adapt to additive structure while remaining highly interpretable. Extensive experiments on real-world datasets show that FIGS achieves state-of-the-art prediction performance. To demonstrate the usefulness of FIGS in high-stakes domains, we adapt FIGS to learn clinical decision instruments (CDIs), which are tools for guiding clinical decision-making. Specifically, we introduce a variant of FIGS known as G-FIGS that accounts for the heterogeneity in medical data. G-FIGS derives CDIs that reflect domain knowledge and enjoy improved specificity (by up to 20% over CART) without sacrificing sensitivity or interpretability. To provide further insight into FIGS, we prove that FIGS learns components of additive models, a property we refer to as disentanglement. Further, we show (under oracle conditions) that unconstrained tree-sum models leverage disentanglement to generalize more efficiently than single decision tree models when fitted to additive regression functions. Finally, to avoid overfitting with an unconstrained number of splits, we develop Bagging-FIGS, an ensemble version of FIGS that borrows the variance reduction techniques of random forests. Bagging-FIGS enjoys competitive performance with random forests and XGBoost on real-world datasets.

研究の動機と目的

• 加法的回帰関数に対して性能が制限される単一の決定木の帰納的バイアスに対処すること。
• 特に医療などハイリスク分野において、解釈可能性と高い予測性能を併せ持つ手法を開発すること。
• ツリーサムモデルにおける加法的成分の分離を可能にし、一般化性能を向上させ、過学習を低減すること。
• 分野知識を尊重し、臨床意思決定における特異性を向上させる、臨床的に解釈可能なモデル（G-FIGS）を構築すること。
• スケーラブルでアンサンブル互換性を持つフレームワーク（Bagging-FIGS）を提供し、ランダムフォレストやXGBoostを同等または上回る性能を達成すること。

提案手法

• FIGS は CART を一般化したもので、単一の木を成長させる代わりに、和集合に含まれる複数の木に対して、1回のスプリットを逐次追加する。
• アルゴリズムは、和集合に含まれるすべての木において目的関数を最も改善するスプリットを選択することで、加法的成分の効率的同定を可能にする。
• 各木が元の関数の異なる加法的成分を学習するという、分離性の性質を活用する。
• G-FIGS は、分野固有の制約と異質性に配慮したスプリットを組み込むことで、FIGS を拡張し、臨床的関連性を向上させる。
• Bagging-FIGS は、ツリーサムモデルにバギングを適用し、分散を低減し一般化性能を向上させる。ランダムフォレストと同様のアプローチである。
• この手法は scikit-learn 互換の API を使用しており、再現性と実用的デプロイメントを実現するため、imodels パッケージに統合されている。

実験結果

リサーチクエスチョン

• RQ1 ツリーサムモデルは単一の木よりも加法的成分を効率的に学習できるか？ そして、その結果として一般化性能が向上するか？
• RQ2 意思決定木モデルにおいて、解釈可能性と高い予測性能を同時に達成できるか？
• RQ3 グリーディで反復的なツリーサムアプローチは、ランダムフォレスト や XGBoost といった標準的なアンサンブル手法を上回れるか？
• RQ4 臨床意思決定における特異性の向上に寄与するように、分野知識をツリーに基づくモデルに組み込むことはどの程度可能か？
• RQ5 ツリーサムモデルにおける加法的成分の分離は、オракル条件下で統計的により効率的な学習を可能にするか？

主な発見

• FIGS は、実世界のデータセットにおいて最先端の予測性能を達成しながらも、高い解釈可能性を維持している。
• G-FIGS は、臨床意思決定インストルメントのモデリングにおいて、CART よりも最大20%の特異性向上を達成しており、感度を損なわない。
• オラクル条件下では、制約なしのツリーサムモデルが、加法的回帰関数をフィッティングする際、単一の決定木よりも一般化がより効率的であることが示された。
• FIGS の分離性の性質により、真の関数の個々の加法的成分を学習できるが、これは単一の木が効率的に実現できない。
• Bagging-FIGS は、実世界のデータセットにおいてランダムフォレストやXGBoostと同等の性能を達成しており、堅牢性とスケーラビリティを示している。
• 理論的分析により、FIGS の一般化誤差が有界であり、特にスプリットが分散を最小化するように選ばれる場合、加法的成分の数が増えるほど改善することが示された。