[論文レビュー] Quantifying Uncertainty in Random Forests via Confidence Intervals and Hypothesis Tests

Lucas Mentch, Giles Hooker|arXiv (Cornell University)|Apr 25, 2014

Machine Learning and Data Classification参考文献 31被引用数 157

ひとこと要約

本稿では、サブサンプルに基づくアンサンブル予測をU統計量として扱うことで、ランダムフォレストにおける形式的統計的推論のフレームワークを提案する。これにより、漸近的に正規分布に従う予測と一貫した分散推定が可能となり、追加の計算コストなしに信頼区間の計算や特徴量の有意性に関する仮説検定が可能となる。主な貢献は、追加計算コストなしに信頼区間と特徴量の有意性に関する仮説検定を計算できる点である。

ABSTRACT

This work develops formal statistical inference procedures for machine learning ensemble methods. Ensemble methods based on bootstrapping, such as bagging and random forests, have improved the predictive accuracy of individual trees, but fail to provide a framework in which distributional results can be easily determined. Instead of aggregating full bootstrap samples, we consider predicting by averaging over trees built on subsamples of the training set and demonstrate that the resulting estimator takes the form of a U-statistic. As such, predictions for individual feature vectors are asymptotically normal, allowing for confidence intervals to accompany predictions. In practice, a subset of subsamples is used for computational speed; here our estimators take the form of incomplete U-statistics and equivalent results are derived. We further demonstrate that this setup provides a framework for testing the significance of features. Moreover, the internal estimation method we develop allows us to estimate the variance parameters and perform these inference procedures at no additional computational cost. Simulations and illustrations on a real dataset are provided.

研究の動機と目的

• 教師付き学習アンサンブル、特にランダムフォレストからの予測に対して形式的統計的推論手順を開発すること。
• バギングおよびランダムフォレストにおいて不確実性の定量化が欠落している現状（通常は点推定のみを提供する）を是正すること。
• 原理的統計枠組みを用いて、個々の予測に対する信頼区間と特徴量の有意性に関する仮説検定を可能にすること。
• 弱い正則性条件のもとで、サブサンプルに基づくアンサンブル手法が漸近的に正規分布に従う予測をもたらすことを示すこと。
• 標準的なトレーニングを超えて追加の計算コストを要せず、一貫した内部的な分散推定を提供すること。

提案手法

• トレーニングデータのサブサンプル（復元なし）に基づいて木構造のアンサンブルを学習するランダムフォレストを再定式化する。
• 得られる予測推定量がU統計量であることを示し、HoeffdingのU統計量理論を用いて漸近的正規性を確立する。
• 弱い正則性条件のもとで予測の漸近的正規性を導出し、標準正規分布の分位数を用いた信頼区間の構築を可能にする。
• アンサンブルの内部構造を活用して漸近分散を一貫して推定し、追加のモデルフィッティングやリサンプリングを必要としない。
• 特徴量の有意性のための検定統計量を、元のモデルと特徴量を並び替えたり削除したモデルの予測を比較することで構築する。
• 計算効率を確保するため、有限で固定された数のサブサンプルを用いた実装を扱うために不完全U統計量理論を適用する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストの非パラメトリックかつアルゴリズム的な性質を考慮しても、形式的統計的推論を予測に対して実行できるか？
• RQ2 サブサンプルに基づくアンサンブル手法（サブバッグィング）の予測は、信頼区間を支持する既知の漸近的分布を持つのか？
• RQ3 同じ統計的構造を用いて、ランダムフォレストフレームワーク内で特徴量の有意性に関する仮説検定を構築できるか？
• RQ4 追加の計算コストなしに、予測の分散を一貫して推定することは可能か？
• RQ5 実世界の応用において、提案された推論フレームワークの性能は、標準的なランダムフォレスト予測と比べてどうなるか？

主な発見

• 弱い正則性条件のもとで、サブサンプルに基づくランダムフォレストからの予測は漸近的に正規分布に従い、信頼区間の構築が可能となる。
• 標準的なトレーニングを超えて追加の計算コストを要せず、アンサンブルの内部構造を用いて予測の分散を一貫して推定できる。
• 特徴量の有意性に関する仮説検定は、元のモデルと特定の特徴量を除いたモデルの予測を比較することで可能となり、p値は検定統計量の漸近的正規性から導出できる。
• eBirdデータセットにおいて、月と年は両方とも鳥の豊富さの有意な予測変数であることが判明し、それぞれの検定統計量は109.72であった。
• 有限のサブサンプル数でも本手法は良好に機能し、不完全U統計量理論により、実用的な実装制約のもとでも有効な推論が保証される。
• 本フレームワークは一般性を有し、U統計量の収束条件を満たす任意の教師付きアンサンブル手法に適用可能であり、木構造の学習器を用いたランダムフォレストに限らない。