[論文レビュー] Analysis of purely random forests bias

Sylvain Arlot, Robin Genuer|arXiv (Cornell University)|Jul 15, 2014

Statistical Methods and Inference参考文献 21被引用数 47

ひとこと要約

この論文は、回帰における完全にランダムなフォレスト（PRF）の近似バイアスを分析し、正則性条件下で無限大のPRFが単一の木よりもバイアスをより速く減少させることを示している。無限大のフォレストと同等のリスクレートを達成するために必要な最小木数を導出し、PRFバイアスをカーネル推定器と関連づけ、木の数を増やすことで収束速度が速くなることを確立している。

ABSTRACT

Random forests are a very effective and commonly used statistical method, but their full theoretical analysis is still an open problem. As a first step, simplified models such as purely random forests have been introduced, in order to shed light on the good performance of random forests. In this paper, we study the approximation error (the bias) of some purely random forest models in a regression framework, focusing in particular on the influence of the number of trees in the forest. Under some regularity assumptions on the regression function, we show that the bias of an infinite forest decreases at a faster rate (with respect to the size of each tree) than a single tree. As a consequence, infinite forests attain a strictly better risk rate (with respect to the sample size) than single trees. Furthermore, our results allow to derive a minimum number of trees sufficient to reach the same rate as an infinite forest. As a by-product of our analysis, we also show a link between the bias of purely random forests and the bias of some kernel estimators.

研究の動機と目的

• 回帰における完全にランダムなフォレスト（PRF）の近似バイアスを理解すること。これは、ランダムフォレストの簡略化モデルである。
• 木の数がPRFにおけるバイアスとリスクに与える影響を分析すること、特に無限大の木の極限における挙動に注目する。
• 無限大のフォレストと同等のバイアスレートを達成するために十分な最小の木の数を導出すること。
• PRFバイアスをカーネル推定器のバイアスと関連づけ、PRFの性能に関する理論的洞察を提供すること。

提案手法

• 有界で Hölder-連続な回帰関数を [0,1]^d 上に持つ回帰フレームワークを用いる。
• データとは無関係なランダムな分割を用いたPRFを分析し、各次元で一様ランダムに分割を行う。
• バイアスを2つの項に分解する：分割機構に起因する項と、リーフにおける局所平均化に起因する項。
• 集中不等式を適用し、木の深さに関する最適化を用いてバイアスを評価し、補題19–21の結果を用いる。
• 無限大のフォレストにおいてはバイアスの上界が n^{-4/5} の速度で減少することを導出し、単一の木よりも速い。
• 特定の条件下でバイアス構造が同等であることを示すことにより、PRFバイアスとカーネル推定器のバイアスを関連づける。

実験結果

リサーチクエスチョン

• RQ1 木の数が増加するにつれて、完全にランダムなフォレストのバイアスは単一の木のバイアスと比べてどのように変化するか？
• RQ2 無限大のフォレストと同等のバイアスレートを達成するために必要な最適な木の数は何か？
• RQ3 PRFのバイアスは、標本サイズ n と木の深さにどのように依存するか？
• RQ4 PRFバイアスとカーネル推定器バイアスの理論的関連性は何か？
• RQ5 正則性仮定の下で、PRFバイアスが単一の木よりも速く収束することが示せるか？

主な発見

• 無限大の完全にランダムなフォレストのバイアスは、標本サイズ n に対して O(n^{-4/5}) の速度で減少し、単一の木よりも速い。
• これは、Hölder-連続な回帰関数の下で、無限大のフォレストが単一の木よりも厳密に優れたリスクレートを達成できることを示唆する。
• 無限大のフォレストと同等のバイアスレートを達成するために十分な最小の木の数が導出された。
• PRFバイアスが特定のカーネル推定器のバイアスと構造的に同等であることが示され、理論的リンクが確立された。
• 木の平均化効果により、PRFバイアスの収束速度は単一の木のそれよりも速い。
• 回帰関数の滑らかさと木の数に依存する、明示的なバイアス上界が得られた。