[論文レビュー] Interpretable Random Forests via Rule Extraction

Clément Bénard, Gérard Biau+2 more|arXiv (Cornell University)|Apr 29, 2020

Neural Networks and Applications参考文献 36被引用数 25

ひとこと要約

SIRUSは、頻繁に出現する経路を選択することで、ランダムフォレストから簡潔で頑健なルールのリストを抽出する安定的で解釈可能な回帰ルール抽出アルゴリズムである。予測精度が最先端水準に達する一方で、高い安定性と単純さを確保しており、わずかな正則性条件の下で、漸近的一貫性を理論的にも実証的にも裏付けている。

ABSTRACT

We introduce SIRUS (Stable and Interpretable RUle Set) for regression, a stable rule learning algorithm which takes the form of a short and simple list of rules. State-of-the-art learning algorithms are often referred to as "black boxes" because of the high number of operations involved in their prediction process. Despite their powerful predictivity, this lack of interpretability may be highly restrictive for applications with critical decisions at stake. On the other hand, algorithms with a simple structure-typically decision trees, rule algorithms, or sparse linear models-are well known for their instability. This undesirable feature makes the conclusions of the data analysis unreliable and turns out to be a strong operational limitation. This motivates the design of SIRUS, which combines a simple structure with a remarkable stable behavior when data is perturbed. The algorithm is based on random forests, the predictive accuracy of which is preserved. We demonstrate the efficiency of the method both empirically (through experiments) and theoretically (with the proof of its asymptotic stability). Our R/C++ software implementation sirus is available from CRAN.

研究の動機と目的

• 従来のルールベースモデルおよびブラックボックスアルゴリズムの回帰タスクにおける不安定性を是正すること。
• 解釈可能性、安定性、予測精度を統合したフレームワークを構築すること。
• 頻度に基づくルール選択を用いて、ランダムフォレストからコンパクトで安定的かつ解釈可能なルールセットを抽出すること。
• ややきつい正則性仮定の下で、ルール選択プロセスの漸近的安定性を証明すること。
• 透明な意思決定を要する実世界の応用に向けた実用的でオープンソースの実装を提供すること。

提案手法

• q-経験的分位数（例：q=10）に制限された分割を用いて、大きなランダムフォレストを構築することで安定性を向上させる。
• 各ツリーの各ノードを、入力空間におけるハイパーレクトアングルを定義する基本ルールに変換し、予測値は定数となる。
• ルールは、フォレスト全体における経験的出現頻度に基づき選択され、最も頑健なパターンをフィルタリングするための閾値p0が用いられる。
• 後処理ステップでは、線形的に従属するルールが削除され、スparserな線形集合による最小で冗長でないルールセットが選択される。
• 理論的分析では、パスを表す記号的表現P = {(jk, rk, sk)}を用いてパスを定義し、選択されたルールセットの漸近的安定性を導出する。
• この手法は理論的一貫性に基づく：標本サイズが増加するにつれ、独立な実行でも同じルールリストが一貫して選択される。

実験結果

リサーチクエスチョン

• RQ1 ルールベース回帰モデルは、データの摂動に対して安定性を保ちながら、高い予測精度を達成できるか？
• RQ2 ツリーの分割を分位数に基づく閾値に制限することで、ランダムフォレストからのルール抽出の安定性が向上するか？
• RQ3 ランダムフォレストからの頻度ベースのルール選択は、漸近的に一貫性があり、安定的か？
• RQ4 SIRUSは、RuleFit や Node Harvest といった既存のルール手法と比較して、ルールセットのサイズ、安定性、予測性能の面で優れているか？
• RQ5 予測性能を犠牲にせずに、木アンサンブルから安定的で解釈可能なルールセットを導出できるか？

主な発見

• SIRUSは、RuleFit や Node Harvest よりも著しく短く、より安定したルールリストを生成し、通常10未満のルールセットとなるのに対し、競合他社では30～50にのぼる。
• 実験的結果では、SIRUSは最先端の手法と同等の予測精度を維持しており、複数のデータセットにおいて、未説明分散が最良手法の10％以内に収束する。
• 「Machine」データセットでは、SIRUSが10分割交差検証で平均未説明分散0.27を達成し、最良手法と同等の性能を示しながらも、より安定性に優れている。
• 理論的分析により、SIRUSは漸近的に安定であることが証明された：標本サイズが増加するにつれ、独立した実行でも同じルールリストが一貫して選択される。
• この手法の安定性は、分位数に基づく分割と、勾りつみアンサンブルではなくランダムフォレストを用いることによるものであり、データ摂動に対する感受性が低減される。
• R/C++実装「sirus」はCRANに公開されており、産業的・科学的応用における実用的導入を可能としている。