[論文レビュー] A Debiased MDI Feature Importance Measure for Random Forests

Xiao Li, Yu Wang+3 more|arXiv (Cornell University)|Jun 26, 2019

Machine Learning and Data Classification参考文献 31被引用数 74

ひとこと要約

論文はランダムフォレストにおける平均不純物減少(MDI)の有限サンプルバイアスを分析し、out-of-bagサンプルを用いてデバイアスを小さくするMDI-oobという新しい偏りの少ないMDI指標を導入し、シミュレーションとゲノムChIPデータセットで性能が改善されることを示す。

ABSTRACT

Tree ensembles such as Random Forests have achieved impressive empirical success across a wide variety of applications. To understand how these models make predictions, people routinely turn to feature importance measures calculated from tree ensembles. It has long been known that Mean Decrease Impurity (MDI), one of the most widely used measures of feature importance, incorrectly assigns high importance to noisy features, leading to systematic bias in feature selection. In this paper, we address the feature selection bias of MDI from both theoretical and methodological perspectives. Based on the original definition of MDI by Breiman et al. for a single tree, we derive a tight non-asymptotic bound on the expected bias of MDI importance of noisy features, showing that deep trees have higher (expected) feature selection bias than shallow ones. However, it is not clear how to reduce the bias of MDI using its existing analytical expression. We derive a new analytical expression for MDI, and based on this new expression, we are able to propose a debiased MDI feature importance measure using out-of-bag samples, called MDI-oob. For both the simulated data and a genomic ChIP dataset, MDI-oob achieves state-of-the-art performance in feature selection from Random Forests for both deep and shallow trees.

研究の動機と目的

• 非漸近的なMDIの有限サンプルにおけるバイアスを特徴づける。
• 偏り低減を可能にするMDIの新しい解析表現を導出する。
• 偏りの少ない特徴量重要度のためのout-of-bagベースのMDI測定であるMDI-oobを提案する。
• シミュレーションデータとゲノムデータ上で他の重要度指標と比較してMDI-oobの性能を示す。

提案手法

• 単一木およびアンサンブルにおけるMDI定義のレビュー（Breiman ら）。
• 緩い仮定の下でノイズ特徴量に対するMDIの期待バイアスの非漸近的上界を導出。
• yとのサンプル共分散とMDIを結ぶ関数f_T,k(X)によるMDIの新しい解析表現を導入。
• 新しいMDI表現を用いてout-of-bagサンプルでMDIを計算することによるMDI-oobの提案。
• 深さと最小リーフサイズm_nがバイアスに及ぼす影響（G0(T)）についての理論的議論。
• シミュレーションデータとゲノムChIPデータセット上でMDI-oobを他の特徴量重要度指標と比較して経験的評価。

実験結果

リサーチクエスチョン

• RQ1 葉のサイズや深さを変えたランダムフォレストにおけるノイズ特徴量に対するMDIの有限サンプルバイアスはどの程度か。
• RQ2 MDIの新しい解析表現はout-of-bagサンプルを用いたデバイアスに寄与できるか。
• RQ3 シミュレーションと実データのゲノムデータにおいて、MDI-oobは標準MDIや他の指標と比べて特徴選択性能を改善するか。
• RQ4 木の深さと最小リーフサイズがバイアスおよびデバイアスの有効性にどう影響するか。
• RQ5 SHAP、MDA、cforest、および他の特徴量重要度指標と比べて、MDI-oobはAUCベースのノイズ特徴量識別においてどうか。

主な発見

• ノイズ特徴量に対するMDI特徴量重要度は、木が深くなり葉が小さくなるほど大きくなり、有限サンプルバイアスを示す（d_n log(np)/m_nに比例する厳密な界）。
• 新しい解析表現はMDIをyと特徴量特異関数f_{T,k}(X)のサンプル共分散として示し、out-of-bagベースの評価を可能にする。
• MDI-oobはout-of-bagサンプルを用いてMDIを計算し、バイアスを低減し、シミュレーションとゲノムデータで最先端の特徴選択性能を達成する。
• MDI-oobは深い木・浅い木の両方で、他の指標と比べて特徴選択のAUCスコアがしばしば5–10%高くなる。
• MDI-oobは離散特徴を含むシミュレーションデータセットとゲノムChIPデータセットの両方で強力な性能を示し、party、ranger、scikit-learnなどのいくつかのパッケージを上回る。
• 本研究はMDI-oobを honest estimationの概念と結びつけ、相関特徴への拡張や理論界定の厳密化の可能性を示している。