[論文レビュー] Interpreting Tree Ensembles with inTrees

Houtao Deng|arXiv (Cornell University)|Aug 23, 2014

Neural Networks and Applications参考文献 4被引用数 47

ひとこと要約

この論文では、ランダムフォレストやブースティングツリーなどのツリーエンsembleから解釈可能なルールを抽出・測定・ pruning し、選択するための inTrees フレームワークを紹介している。これにより、モデルの解釈性、デバッグ、およびデプロイメントが可能になる。この手法は、競争力のある性能を示す簡素化されたルールベースの学習者（STEL）を生成し、18個のUCIデータセットのうち13個でrpartを上回る統計的に有意な向上を達成した。

ABSTRACT

Tree ensembles such as random forests and boosted trees are accurate but difficult to understand, debug and deploy. In this work, we provide the inTrees (interpretable trees) framework that extracts, measures, prunes and selects rules from a tree ensemble, and calculates frequent variable interactions. An rule-based learner, referred to as the simplified tree ensemble learner (STEL), can also be formed and used for future prediction. The inTrees framework can applied to both classification and regression problems, and is applicable to many types of tree ensembles, e.g., random forests, regularized random forests, and boosted trees. We implemented the inTrees algorithms in the "inTrees" R package.

研究の動機と目的

• ランダムフォレストやブースティングツリーのようなツリーエンsembleにおける解釈性の欠如を是正し、理解、デバッグ、デプロイメントを容易にする。
• ツリーエンsembleから抽出されたルールの測定および処理のための体系的な手法を開発し、モデルの透明性を向上させる。
• 将来のデプロイメントに適した、抽出されたルールから構築された簡素化されたルールベースの学習者（STEL）を構築する。
• ツリーエンsembleから頻出する変数間の相互作用を特定・抽出し、データの背後にあるパターンを明らかにする。
• さまざまなツリーエンsembleタイプ（ランダムフォレストやブースティングツリーを含む）に適用可能な、効率的で分散処理可能なルール抽出および処理を実現する。

提案手法

• ルートノードからリーフノードまでのパスを走査することで、アンサンブル内の各意思決定ツリーからルールを抽出し、条件（C）を変数-値ペアの論理積として、リーフノードの結果（T）を出力とする。
• 個々のルール内での不要または重複する変数-値ペアを削除するルールpruningを適用し、明確性を向上させるとともに過学習を低減する。
• 頻度や正答率などの統計的指標に基づいてルールをランク付け・選択し、最小限でありながら効果的なルールセットを構成する。
• 複数のルールに共起する条件をマイニングすることで、頻出する変数間の相互作用を特定し、データ内の主要な予測子関係を明らかにする。
• 選択されたルールから簡素化されたツリーエンsemble学習者（STEL）を構築し、本番環境での効率的な予測を可能にする。
• inTrees Rパッケージとしてフレームワークを実装し、二分岐ツリーをサポートするとともに、分散システムにおける並列処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストやブースティングツリーのような複雑なツリーエンsembleから、モデルの透明性を向上させるために、解釈可能なルールを効果的に抽出できるか？
• RQ2 抽出されたルール内での重複または無関係な変数-値ペアを、体系的にpruningすることで、ルールの明確性と一般化性能を向上させられるか？
• RQ3 ツリーエンsembleのルールから導出された簡素化されたルールベースの学習者（STEL）は、rpartのような従来の学習者と同等またはそれ以上の性能を達成できるか？
• RQ4 ツリーエンsembleのルールからどのような頻出変数間の相互作用が特定可能か？また、それらはデータの背後にある構造をどのように反映するか？
• RQ5 inTreesフレームワークは、スケーラブルなルール抽出および処理を実現するため、分散コンピューティング環境に効率的にデプロイ可能か？

主な発見

• 簡素化されたツリーエンsemble学習者（STEL）は、18個のUCIデータセットのうち13個でrpartを統計的に有意に上回り、ルール処理後の予測性能が優れていることを示した。
• STELはrpartに5つのデータセットで劣位であったが、そのうち1つのケース（16.6%）でのみ相対差が10%以上であったため、全体としての頑健性が確認された。
• 18個のデータセットのうち14個では、頻度 >0.1 の最も正確なルールの誤差率が0であった。これは、大多数のケースで高いルール品質と一般化性能を示している。
• 「led7」データセットのルールの誤差率は0.211（21.1%）であり、表9の全体的な誤差率と整合的である。これは、ルールセットがデータの難易度を適切に反映していることを示している。
• inTreesフレームワークは、多様なツリーエンsembleから解釈可能なルールおよび頻出変数間の相互作用を効果的に抽出でき、分類および回帰タスクの両方をサポートした。
• inTrees Rパッケージは、スケーラブルで分散処理可能なルール抽出および処理を可能にし、さまざまなプログラミング環境における実世界のデプロイメントに適している。