[論文レビュー] TE2Rules: Explaining Tree Ensembles using Rules

G Roshan Lal, Xiaotong Chen+1 more|arXiv (Cornell University)|Jun 29, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

TE2Rulesは、少数派（ポジティブ）クラスに焦点を当て、高忠実度で解釈可能なルールを生成する新規手法である。Aprioriアルゴリズムを用いて複数の木の意思決定経路をマイニングし、簡潔で正確なルールを生成する。これは、最先端の説明手法と比較してポジティブクラスにおける忠実度が優れており、実行時間効率を維持するとともに、早期停止による実行時間-忠実度のトレードオフを可能にする。

ABSTRACT

Tree Ensemble (TE) models, such as Gradient Boosted Trees, often achieve optimal performance on tabular datasets, yet their lack of transparency poses challenges for comprehending their decision logic. This paper introduces TE2Rules (Tree Ensemble to Rules), a novel approach for explaining binary classification tree ensemble models through a list of rules, particularly focusing on explaining the minority class. Many state-of-the-art explainers struggle with minority class explanations, making TE2Rules valuable in such cases. The rules generated by TE2Rules closely approximate the original model, ensuring high fidelity, providing an accurate and interpretable means to understand decision-making. Experimental results demonstrate that TE2Rules scales effectively to tree ensembles with hundreds of trees, achieving higher fidelity within runtimes comparable to baselines. TE2Rules allows for a trade-off between runtime and fidelity, enhancing its practical applicability. The implementation is available here: https://github.com/linkedin/TE2Rules.

研究の動機と目的

• 医療や不正検知などのハイリスク応用で用いられる木アンサンブルモデルにおいて、少数派（ポジティブ）クラスに対する忠実で解釈可能な説明の不足に対処すること。
• 既存の手法がしばしば十分に説明しないポジティブクラスの予測についても、全体の忠実度に加え、特にポジティブクラスでの忠実度を維持するルールベースの説明手法を開発すること。
• 数百本の木を含む木アンサンブルから、スケーラブルで効率的なルールマイニングを実現し、実世界のシステムへの実用的導入を可能にすること。
• ルール生成中に早期停止を許容することで、実行時間と忠実度の間で調整可能なトレードオフを提供すること。
• 生成されたルールが、高い陽性予測率（精度）と同時に、ポジティブ予測の有意義な割合をカバーしていることを保証すること。

提案手法

• TE2Rulesは、木アンサンブル内の複数の木において、ポジティブ予測に至る頻繁に共起する内部ノードを特定することでルールをマイニングする。
• Aprioriアルゴリズムを適用し、ポジティブ予測に対して共に活性化するが、ネガティブ予測に対しては非活性化するノードのアイテムセットを発見する。
• 各ルールはノードの組み合わせから導出され、データポイントがこれらのノードを通過してポジティブ予測を受けるために満たすべき特徴量の閾値を指定する。
• ルールは、多数のポジティブ予測をカバーしつつ忠実度を保持する最小のルール集合を維持するために、貪欲な選択アルゴリズムで後処理される。
• アルゴリズムは最大3段階の段階的処理をサポートしており、各段階でより複雑なノードの組み合わせが発見され、ポジティブクラスにおけるルール品質と忠実度が向上する。
• 早期停止が可能である：段階2または段階3まで実行するだけで、ほぼ最適な忠実度が達成され、実行時間が著しく短縮される。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの説明手法は、既存の手法がしばしば失敗する木アンサンブルモデルの少数派（ポジティブ）クラスにおいて、高い忠実度を達成できるか？
• RQ2 単一の木やヒューリスティックベースのルール抽出と比較して、複数の木のノード組み合わせをAprioriベースでマイニングすることで、ルールの品質と忠実度はどのように向上するか？
• RQ3 ルール生成における実行時間と忠実度のトレードオフは何か？また、早期停止によって計算コストを削減しながらも、高い忠実度を維持できるか？
• RQ4 TE2Rulesは、数百本の木を含む大規模な木アンサンブルに対してどのようにスケーリングするか？また、最先端の説明手法と比較して性能はどうか？
• RQ5 マイニングされたルールはポジティブ予測のどの程度をカバーしているか？また、ルール生成の各段階で精度とカバレッジはどのように変化するか？

主な発見

• TE2Rulesは、deFragTrees よりも少ないルールをマイニングしても、ポジティブクラスにおける忠実度がより高い。
• 段階3まで実行するとポジティブクラスの忠実度が最も高くなるが、段階2以降の向上はわずかであり、大多数の用途において2〜3段階で十分であることが示された。
• inTrees よりも多くのルールをマイニングしているにもかかわらず、TE2Rulesはポジティブクラスの忠実度でそれを上回り、優れたルール品質とカバレッジを示した。
• TE2Rulesの実行時間は、最先端の説明手法と同等であり、効率的なAprioriのプルーニングにより、段階3の実行は段階2と比較してわずかにコストが高くなるにとどまる。
• 後処理によりルール数が著しく削減され、冗長性が最小限に抑えられたコンパクトで高精度なルールセットが得られ、多数のポジティブ予測を効果的に説明できる。
• 本手法により、実行時間と忠実度の実用的なトレードオフが可能である：例えば段階2で停止することで、計算量を削減しつつもポジティブクラスの忠実度の損失は最小限に抑えられる。