[論文レビュー] Confidence Intervals for Random Forests: The Jackknife and the Infinitesimal Jackknife

Stefan Wager, Trevor Hastie+1 more|arXiv (Cornell University)|Nov 18, 2013

Statistical Methods and Inference参考文献 24被引用数 301

ひとこと要約

この論文は、ランダムフォレストおよびバギング学習者における分散推定のための改善されたジャックナイフおよび無限小ジャックナイフ（IJ）推定量を提案し、必要なブートストラップ再試行回数を $\Theta(n^{1.5})$ から $\Theta(n)$ に削減する。IJ推定量は、同等の精度を達成するためのジャックナイフに比べて1.7倍少ない再試行回数を要する。モンテカルロノイズを軽減するバイアス補正版を導入し、標準誤差推定を用いて信頼区間を提供する。

ABSTRACT

We study the variability of predictions made by bagged learners and random forests, and show how to estimate standard errors for these methods. Our work builds on variance estimates for bagging proposed by Efron (1992, 2012) that are based on the jackknife and the infinitesimal jackknife (IJ). In practice, bagged predictors are computed using a finite number B of bootstrap replicates, and working with a large B can be computationally expensive. Direct applications of jackknife and IJ estimators to bagging require B on the order of n^{1.5} bootstrap replicates to converge, where n is the size of the training set. We propose improved versions that only require B on the order of n replicates. Moreover, we show that the IJ estimator requires 1.7 times less bootstrap replicates than the jackknife to achieve a given accuracy. Finally, we study the sampling distributions of the jackknife and IJ variance estimates themselves. We illustrate our findings with multiple experiments and simulation studies.

研究の動機と目的

• 標準的なジャックナイフおよびIJ手法を用いたバギング学習者およびランダムフォレストにおける分散推定の高い計算コストを解消すること。
• 分散推定量の収束に必要なブートストラップ再試行回数を $\Theta(n^{1.5})$ から $\Theta(n)$ に削減すること。
• 有限のブートストラップ再試行回数に起因する分散推定の過大評価を引き起こすモンテカルロバイアスを是正すること。
• 有限サンプル設定におけるジャックナイフおよびIJ推定量の効率性と標本バイアスを比較すること。
• 追加計算を伴わずに既存のブートストラップ再試行データから利用可能なランダムフォレスト予測の信頼区間を提供すること。

提案手法

• モンテカルロバイアスを低減するためのジャックナイフおよび無限小ジャックナイフ（IJ）推定量のバイアス補正版を開発する。
• ジャックナイフとIJ分散推定値の算術平均をとることで、ほぼバイアスのない性能を達成する新しい推定量を導入する。
• ブートストラップ再試行における影響関数を活用することで、IJを用いた分散推定をより効率的に実行する。
• ジャックナイーブ・アフター・ブートストラップフレームワークを適用し、追加計算を伴わず既存のブートストラップ再試行データから標準誤差を推定する。
• IJ推定量自体の標本分散を推定する手法を提案し、その信頼性を評価する。
• 複数のデータセット（Auto MPG、コレステロール、スパム、カリフォルニア住宅）を用いたシミュレーションスタディにより理論的知見を検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレスト分散推定のためのジャックナイフおよびIJ推定量は、より少ないブートストラップ再試行回数で効率化可能か？
• RQ2 モンテカルロノイズはジャックナイフおよびIJ分散推定の精度にどのように影響するか？ また、これを是正可能か？
• RQ3 同等の精度を達成するためのIJ推定量とジャックナイフ推定量の間のブートストラップ再試行回数の相対的効率は？
• RQ4 平均化または補正によって、ジャックナイフおよびIJ推定量の標本バイアスを低減可能か？
• RQ5 提案された分散推定値は、ランダムフォレスト予測の正確な信頼区間へとどの程度適切に反映されるか？

主な発見

• 提案されたバイアス補正付きジャックナイフおよびIJ推定量は、$B = \Theta(n)$ のブートストラップ再試行回数で収束し、計算コストを $\Theta(n^{1.5})$ から削減する。
• 同等の精度を達成するため、IJ推定量はジャックナイフに比べて1.7倍少ないブートストラップ再試行回数を要する。
• ジャックナイフとIJ分散推定値の算術平均はほぼバイアスがなく、個々の推定量に見られる上昇・下降バイアスを緩和する。
• モンテカルロバイアスは、標準的なジャックナイフおよびIJ推定量における主要な誤差要因であり、提案されたバイアス補正により精度が著しく向上する。
• Auto MPGデータセットでの実証により、誤差バーが予測の不確実性を反映し、予測誤差と相関していることから、信頼区間が信頼性を持つことが示された。
• プロスタートがん、スパム、カリフォルニア住宅などの合成および実データセットにおけるシミュレーションスタディにより、提案手法の堅牢性と精度が多様な設定で確認された。