[論文レビュー] MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA

Clément Bénard, Sébastien da Veiga+1 more|arXiv (Cornell University)|Feb 26, 2021

Probabilistic and Robust Engineering Design参考文献 49被引用数 6

ひとこと要約

この論文は、ランダムフォレストにおける変数重要度測定のMean Decrease Accuracy (MDA)に根本的な不一致が存在することを特定し、共変数の依存性がある状況下で偏りのある推定値に収束することを示している。これを解決するために、著者らは計算的に効率的で一貫性のある代替手法であるSobol-MDAを提案する。Sobol感度インデックスと整合性を持たせることで、変数重要度を正しく推定し、シミュレートデータおよび実データにおける変数選択において既存手法を上回る性能を発揮する。

ABSTRACT

Variable importance measures are the main tools to analyze the black-box mechanisms of random forests. Although the mean decrease accuracy (MDA) is widely accepted as the most efficient variable importance measure for random forests, little is known about its statistical properties. In fact, the definition of MDA varies across the main random forest software. In this article, our objective is to rigorously analyze the behavior of the main MDA implementations. Consequently, we mathematically formalize the various implemented MDA algorithms, and then establish their limits when the sample size increases. This asymptotic analysis reveals that these MDA versions differ as importance measures, since they converge towards different quantities. More importantly, we break down these limits into three components: the first two terms are related to Sobol indices, which are well-defined measures of a covariate contribution to the response variance, widely used in the sensitivity analysis field, as opposed to the third term, whose value increases with dependence within covariates. Thus, we theoretically demonstrate that the MDA does not target the right quantity to detect influential covariates in a dependent setting, a fact that has already been noticed experimentally. To address this issue, we define a new importance measure for random forests, the Sobol-MDA, which fixes the flaws of the original MDA, and consistently estimates the accuracy decrease of the forest retrained without a given covariate, but with an efficient computational cost. The Sobol-MDA empirically outperforms its competitors on both simulated and real data for variable selection. An open source implementation in R and C++ is available online.

研究の動機と目的

• ランダムフォレストにおける既存のMDA実装の漸近的挙動を厳密に分析すること。
• 共変数が依存している状況でMDAが一貫性のない変数重要度順位を生じる理由を特定すること。
• 理論的に妥当で計算的に効率的なMDAの代替策を開発し、依存性下でも真の変数重要度を正しく推定できること。
• 提案手法の優位性を、実データおよびシミュレートデータにおける変数選択タスクで実証的に検証すること。

提案手法

• MDAの複数の実装を数学的に形式化し、その漸近的極限を導出する。
• 極限におけるMDA値を3つの成分に分解する：2つはSobolインデックスに関連し、残り1つは共変数の依存性に起因する。
• Sobolインデックスに基づく成分を分離することで、一貫性を保証する新しい重要度測定法Sobol-MDAを提案する。
• Sobolインデックスのモンテカルロ推定を用いて、フォレストの再訓練なしに効率的に変数重要度を計算する。
• Sobol-MDAが一貫性を示し、変数をフォレストから除外した際の真の精度低下に収束することを証明する。
• RおよびC++を用いてrangerランダムフォレストフレームワークに実装し、実用的利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共変数が依存している状況下で、MDAの異なる実装はどのように漸近的に振る舞うか？
• RQ2 なぜ共変数が依存しているとMDAは影響力のある変数の正しい順位を出せないのか？
• RQ3 共変数の依存性下でも、真の変数のモデル精度への影響を一貫して推定できる新しい変数重要度測定法を構築できるか？
• RQ4 提案されたSobol-MDAは、実データおよびシミュレートデータにおける変数選択タスクで、既存のMDAバージョンを上回る性能を示すか？
• RQ5 Sobol-MDAの計算コストは、標準的なMDAと同等であり、理論的一貫性を維持できるか？

主な発見

• 標準的なMDAは、Sobolインデックスと依存性に起因するバイアス項を組み合わせた極限に収束するため、共変数の依存性下では一貫性を欠く。
• 共変数間の相関が √2/2 ≈ 0.707 を超えると、依存性に起因する項が支配的になり、誤った変数順位が生じる。
• Sobol-MDAは一貫性を示し、変数をフォレストから除外した際の真の精度低下に収束することが証明された。
• シミュレートデータでは、Sobol-MDAは高い相関下でも関連する変数を正しく特定できるが、標準的なMDAは失敗する。
• 実世界のデータセットでは、Sobol-MDAはMDAおよび他の競合手法を上回る変数選択の正確性を示した。
• RおよびC++で実装されたSobol-MDAのオープンソース版は、最小限の計算オーバーヘッドで効率的なデプロイメントを可能にする。