[論文レビュー] Scalable and Efficient Hypothesis Testing with Random Forests

Tim Coleman, Wei Peng+1 more|arXiv (Cornell University)|Apr 16, 2019

Bayesian Methods and Mixture Models参考文献 52被引用数 17

ひとこと要約

本稿では、交換可能性とサブサンプリングを活用することで、計算コストを著しく削減しながらも漸近的に妥当な結果が得られる、ランダムフォレストにおける特徴の有意性を評価する計算的に効率的かつ統計的に妥当な順列に基づく仮説検定を提案する。この手法は高い検出力を持ち、大規模データに自然にスケーリング可能であり、制限的な仮定や計算コストの高い要件を伴わずに形式的推論を可能にする。

ABSTRACT

Throughout the last decade, random forests have established themselves as among the most accurate and popular supervised learning methods. While their black-box nature has made their mathematical analysis difficult, recent work has established important statistical properties like consistency and asymptotic normality by considering subsampling in lieu of bootstrapping. Though such results open the door to traditional inference procedures, all formal methods suggested thus far place severe restrictions on the testing framework and their computational overhead precludes their practical scientific use. Here we propose a permutation-style testing approach to formally assess feature significance. We establish asymptotic validity of the test via exchangeability arguments and show that the test maintains high power with orders of magnitude fewer computations. As importantly, the procedure scales easily to big data settings where large training and testing sets may be employed without the need to construct additional models. Simulations and applications to ecological data where random forests have recently shown promise are provided.

研究の動機と目的

• ランダムフォレストにおける特徴の有意性を統計的に妥当かつ計算的に効率的に行う仮説検定を開発すること。
• 計算コストが非常に高く、テストフレームワークを制限する既存のパラメトリック手法の限界を克服すること。
• 相関やカテゴリカルな共変量の下で誤解を招く可能性があるヒューリスティックなOutOfBag重要度測定の欠陥を是正すること。
• 再訓練やノイズパラメータの推定を必要とせず、大規模データ環境でも形式的推論を可能にすること。
• ランダムフォレストにおけるサブサンプリングの交換可能性を根拠に、漸近的妥当性を確立すること。

提案手法

• 特徴の有意性を評価するために順列検定を用い、予測子の値をランダムにシャッフルし、その結果生じる平均二乗誤差（MSE）の変化を測定する。
• サブサンプリング下でのランダムフォレストの木の交換可能性に依存しており、順列分布の漸近的妥当性が保証される。
• 検定統計量は、元のデータと順列されたデータの間のMSEの差に基づき、p値は経験的順列分布から計算される。
• モデルの完全な再訓練を避けるために、固定された木の数（例：B=250または500）と、サンプルサイズに合わせて調整されたmtryパラメータを用いる。
• ChungとRomano（2013）の交換可能なアレイの線形形に関する結果を援用し、漸近的正規性と収束の議論を通じて理論的妥当性を確立する。
• 2段階のプロセスで実装される：まず、順列による重要度スコアを計算する。次に、同じフレームワークを用いて全特徴の集合に対してグローバル検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストにおける特徴重要度の順列に基づく仮説検定は、統計的に妥当かつ計算的に効率的であると言えるか？
• RQ2 既存のパラメトリックアプローチと比較して、計算コストを桁違いに削減しながらも高い統計的検出力を維持できるか？
• RQ3 データがi.i.d.でない場合でも、サブサンプル木における交換可能性を活用することで、一般の帰無仮説下で漸近的に妥当な検定が可能か？
• RQ4 追加のモデル適合やノイズパラメータ推定を必要とせず、大規模データセットにスケーリング可能か？
• RQ5 相関のあるまたはカテゴリカルな予測子の下で、ヒューリスティックなOutOfBag重要度測定と比較して、本手法の信頼性は向上するか？

主な発見

• 提案された順列検定は、交換可能性の仮定の下で漸近的に妥当であり、帰無仮説下で条件付き不偏なp値を達成した。
• 既存のパラメトリック推論手法と比較して、計算量が桁違いに削減され、大規模データ環境でも実用的になった。
• eBirdデータでは、グローバル検定のp値が0.0004であった。これはデータ内に明確な信号が存在することを強く示しており、eff.hoursとdateが有意な予測子であった。
• 森林火災データでは、グローバル検定のp値が0.0040であった。これは検出可能な信号が存在することを示しており、風速が有意な特徴であった（α=0.05）。
• 相関やカテゴリカルな共変量が存在する状況でも、ヒューリスティックなOutOfBag重要度測定よりも真の信号を効果的に検出できた。
• 全特徴を個別にテストする場合でも、各テストに必要な木の数が少数で済むため、繰り返しテストが効率的かつ計算的に実行可能であった。