[論文レビュー] Uniform Convergence of Random Forests via Adaptive Concentration

Stefan Wager, Guenther Walther|arXiv (Cornell University)|Mar 22, 2015

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿では、回帰木およびランダムフォレストの分析に適応的集中を導入し、最適予測子の周囲に、入力空間全体にわたって一様に、確率的高確率で O(√(log d log n / k)) のレートで集中することを示している。このフレームワークにより、高次元設定下での適応的成長木の一致性および一般化バウンドが可能となる。

ABSTRACT

We study the convergence of the predictive surface of regression trees and forests. To support our analysis we introduce a notion of adaptive concentration for regression trees. This approach breaks tree training into a model selection phase in which we pick the tree splits, followed by a model fitting phase where we find the best regression model consistent with these splits. We then show that the fitted regression tree concentrates around the optimal predictor with the same splits: as d and n get large, the discrepancy is with high probability bounded on the order of sqrt(log(d)log(n)/k) uniformly over the whole regression surface, where d is the dimension of the feature space, n is the number of training examples, and k is the minimum leaf size for each tree. We also provide rate-matching lower bounds for this adaptive concentration statement. From a practical perspective, our result enables us to prove consistency results for adaptively grown forests in high dimensions, and to derive generalization bounds for a large class of regression forests.

研究の動機と目的

• 高次元設定下での回帰木およびフォレストの一様収束を確立すること。
• ランダムフォレストにおける適応的木成長の分析のための理論的フレームワークを開発すること。
• 新規の集中アプローチを用いて、広範な回帰フォレストのクラスの一般化バウンドを導出すること。
• 木ベースのモデルにおける適応的集中のレートマッチング下界を提供すること。
• 次元 d と標本サイズ n が増加する際の、適応的に成長するフォレストの一致性結果を支援すること。

提案手法

• 木の学習をモデル選択（スプリット選択）段階とモデル適合（回帰推定）段階に分解する。
• 回帰木における固定スプリット下での最適予測子からの逸脱をバウンドする、新たな集中不等式として適応的集中を導入する。
• 高確率の一様バウンド下での、適合済み予測子と最適予測子の乖離を分析する。
• k を最小リーフサイズとして、全回帰表面にわたる一様収束レート O(√(log d log n / k)) を導出する。
• 適応的集中フレームワークを用いて、高次元における適応的に成長するフォレストの一致性を証明する。
• 得られた収束レートの理論的下界と照合するレートマッチング下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、高次元特徴空間における回帰木およびフォレストの一様収束を形式的に分析できるか？
• RQ2 スプリットがデータに依存するような適応的に成長する木の分析を可能にする理論的フレームワークは何か？
• RQ3 適応的スプリット下での回帰木の予測表面の最適レート収束は何か？
• RQ4 このフレームワークを用いて、広範なランダムフォレストのクラスの一般化バウンドを導出できるか？
• RQ5 得られた収束レートは理論的下界とどの程度タイトか？

主な発見

• 回帰木の予測表面は、高確率で、入力空間全体にわたって、O(√(log d log n / k)) のレートで最適予測子に一様に収束する。
• 適応的集中フレームワークにより、スプリットがデータに適応的であっても、一様収束分析が可能になる。
• 導出された収束レートは下界とレートマッチングしており、理論的タイトネスを示している。
• このフレームワークは、高次元設定下での適応的に成長するフォレストの一貫性結果をサポートする。
• 適応的集中アプローチを用いて、広範なクラスの回帰フォレストの一般化バウンドが確立された。
• 分析は、特定の点に限定されず、全回帰表面にわたって一様に適用可能である。