[論文レビュー] Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach

Satoshi Hara, Kohei Hayashi|arXiv (Cornell University)|Jun 29, 2016

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 18

ひとこと要約

本稿では、予測性能を損なわず、解釈可能で低複雑性のモデルに複雑なツリー集合を簡略化するためのベイジアンモデル選択手法を提案する。モデル簡略化をベイジアンモデル選択問題として扱い、FAB推論を用いてトレーサブルな周辺尤度近似を実現することで、元のアンサンブルの予測精度を保持しつつ、意思決定領域の数を著しく削減した最小限のルールベース表現を自動で特定する。

ABSTRACT

Tree ensembles, such as random forests and boosted trees, are renowned for their high prediction performance. However, their interpretability is critically limited due to the enormous complexity. In this study, we present a method to make a complex tree ensemble interpretable by simplifying the model. Specifically, we formalize the simplification of tree ensembles as a model selection problem. Given a complex tree ensemble, we aim at obtaining the simplest representation that is essentially equivalent to the original one. To this end, we derive a Bayesian model selection algorithm that optimizes the simplified model while maintaining the prediction performance. Our numerical experiments on several datasets showed that complicated tree ensembles were reasonably approximated as interpretable.

研究の動機と目的

• ツリー集合の解釈不能性という深刻な欠如に応えること。これは1,000以上の意思決定領域を含み、手作業による解釈が現実的ではない。
• ツリー集合の簡略化を、元のモデルと予測性能でほぼ同等であるが、最も単純なモデルを求めるベイジアンモデル選択問題として形式化すること。
• 無限に存在する領域構成の探索の非 tractability を克服するため、確率的モデル表現と効率的な推論を用いること。
• 外部のハイパーパrameterチューニングや外側の候補評価を必要とせず、自動的にモデルの複雑さを選択できること。
• データに内在する人間が理解可能なパターン（例：エネルギー効率データにおけるサイズベースの負荷予測）を反映する解釈可能なルールベースモデルを生成すること。

提案手法

• ベイジアンモデル選択に不可欠な周辺尤度の計算を可能とするために、元のツリー集合を確率的モデルとして表現する。
• FAB推論を適用し、周辺尤度を計算可能な形で近似することで、効率的な最適化を可能にする。
• FAB推論が内蔵するモデルの刈り込み機構を活用し、手動によるハイパーパrameter探索を不要にすることで、最適なモデルの複雑さを自動で特定する。
• 入力空間の分割を最適化し、元のアンサンブルとの予測忠実度を維持しながら、モデルの複雑さを最小化する領域境界を学習する。
• 簡略化タスクを領域構成の探索とみなすが、近似周辺尤度に基づく勾配最適化により、全探索を回避する。
• 回帰と分類の両タスクをサポートする。回帰では出力を連続値として、分類ではワンホットベクトルとして、確率的枠組み内でモデル化する。

実験結果

リサーチクエスチョン

• RQ1 複雑なツリー集合を、予測性能を保持しつつ、最小限の解釈可能なモデルに簡略化できるか？
• RQ2 XGBoostのような非確率的ツリー集合に対して、確率的モデルに再定式化することでベイジアンモデル選択を適応可能か？
• RQ3 FAB推論の使用により、モデルの複雑さの手動チューニングを必要とせず、自動的かつ効率的なモデル選択が可能か？
• RQ4 簡略化されたモデルが、エネルギー効率予測におけるサイズ効果など、直感的なデータパターンと整合する人間が理解可能なルールを生成できるか？
• RQ5 BATrees、inTrees、Node Harvestといった既存の簡略化ベースラインと比較して、本手法の解釈性と性能はどのように異なるか？

主な発見

• 提案手法は、全データセットで元のツリー集合と比較して領域数を90％削減したが、予測性能の損失は最小限に抑えられた。
• エネルギー効率データセットでは、全体の高さと壁面積の2つの特徴に基づく4つの直感的なルールを抽出した。これにより、小規模な建物では負荷が低く、大規模な建物では負荷が高いことが明確に示された。
• 解釈性において、BATrees（66ルール）、inTrees（23ルール）、Node Harvest（10ルール）を上回り、提案モデルはわずか4つのルールで実現した。
• 予測性能の観点では、提案手法はほぼ最適な正確性を維持した。合成データセット1（Synthetic1）では平均テスト誤差が1.01±0.03であり、ベースライン手法よりも顕著に低かった。
• FAB推論に基づくアプローチにより、外部のハイパーパrameterチューニングや複数回の候補評価を必要とせず、自動的なモデル選択が達成された。
• 簡略化されたモデルは解釈性が向上しただけでなく、意味のあるドメインに整合したパターンも捉えており、例として建物のサイズが大きくなるとエネルギー負荷が増加する傾向が明確に抽出ルールに反映された。