[論文レビュー] Ensemble Trees and CLTs: Statistical Inference for Supervised Learning

Lucas Mentch, Giles Hooker|arXiv (Cornell University)|Apr 25, 2014

Machine Learning and Data Classification参考文献 22被引用数 22

ひとこと要約

本稿は、部分標本抽出を用いて予測値をU統計量としてモデル化することにより、アンサンブル木手法の形式的統計的推論フレームワークを提案する。これにより、漸近的に正規分布に従う予測値と信頼区間が得られ、追加の計算コストなしに特徴量の重要性の検定と分散推定が可能となり、バギングやランダムフォレストに厳密な推論能力を拡張する。

ABSTRACT

This work develops formal statistical inference procedures for machine learning ensemble methods. Ensemble methods based on bootstrapping, such as bagging and random forests, have improved the predictive accuracy of individual trees, but fail to provide a framework in which distributional results can be easily determined. Instead of aggregating full bootstrap samples, we consider predicting by averaging over trees built on subsamples of the training set and demonstrate that the resulting estimator takes the form of a U-statistic. As such, predictions for individual feature vectors are asymptotically normal, allowing for confidence intervals to accompany predictions. In practice, a subset of subsamples is used for computational speed; here our estimators take the form of incomplete U-statistics and equivalent results are derived. We further demonstrate that this setup provides a framework for testing the significance of features. Moreover, the internal estimation method we develop allows us to estimate the variance parameters and perform these inference procedures at no additional computational cost. Simulations and illustrations on a real dataset are provided.

研究の動機と目的

• バギングやランダムフォレストのようなアンサンブル木手法の形式的統計的推論フレームワークを構築すること。
• 完全なブートストラップ標本に依存する既存のアンサンブル手法に欠けている分布に関する結果を補完すること。
• 部分標本抽出を用いて、予測値および特徴量重要度の信頼区間と仮説検定を可能にすること。
• 計算効率を高めるために部分的な部分標本の使用に伴う不完全U統計量の等価な推論結果を導出すること。
• 追加の計算コストなしに内部的に分散パラメータを推定すること。

提案手法

• 訓練データのランダムな部分標本で学習された木の平均値としてアンサンブル予測値をU統計量としてモデル化し、完全なブートストラップ標本ではなく部分標本を用いる。
• やや弱い正則性条件の下で予測値の漸近的正規性を確立し、信頼区間の構築を可能にする。
• 計算効率を高めるために部分的な部分標本の使用に伴う不完全U統計量の等価な漸近的結果を導出し、統計的妥当性を維持する。
• U統計量の構造を活用して、推論に必要な分散パラメータを内部的に推定し、追加の計算を回避する。
• U統計量に基づく予測値への各特徴量の寄与度を評価することで、個々の特徴量の重要性の有意性を検定する。
• 経験的影響関数とHoeffdingの分解を用いて、漸近的分布および分散推定値を導出する。

実験結果

リサーチクエスチョン

• RQ1 部分標本抽出に基づくアンサンブル木の予測値は、正式にU統計量として扱うことができ、統計的推論が可能になるか？
• RQ2 部分標本抽出に基づくアンサンブル木の予測値の漸近的性質は何か？正規分布に従い続けるか？
• RQ3 このフレームワークを用いて、個々の予測値の信頼区間を信頼性を持って構築できるか？
• RQ4 このU統計量に基づくアプローチを用いて、アンサンブル木における特徴量の有意性を検定できるか？
• RQ5 追加の計算コストなしに分散パラメータを内部的に推定できるか？

主な発見

• 部分標本で構築されたアンサンブル木の予測値は漸近的に正規分布に従い、有効な信頼区間の構築が可能である。
• 本フレームワークは、各特徴量がU統計量に与える寄与度を評価することで、特徴量の重要性に関する形式的仮説検定を可能にする。
• 推論に必要な分散パラメータは、追加の計算コストなしに内部的に推定される。
• 不完全U統計量に関する理論的結果により、計算効率を高めるために部分的な部分標本の使用に伴ってフレームワークの有効性が保たれる。
• シミュレーションおよび実データの例示により、信頼区間および推論手順の経験的妥当性が確認された。