[論文レビュー] Complete Analysis of a Random Forest Model

Jason M. Klusowski|arXiv (Cornell University)|May 7, 2018

Statistical Methods and Inference参考文献 5被引用数 15

ひとこと要約

この論文は、特徴量を一様にランダムに選択し、特徴量の範囲の中央で分割するランダムフォレストモデルの完全な理論的分析を提供する。平均二乗予測誤差のレートは $(n\sqrt{S-1} \sqrt{\log n})^{-1/(S\log 2 + 1)}$ のオーダーであり、$S \leq \lfloor 0.72d \rfloor$ のとき、スパース回帰におけるミニマックスレートを上回る。また、完全に成長した木であっても、環境次元に依存せずに分散が減少することを示している。

ABSTRACT

Random forests have become an important tool for improving accuracy in regression problems since their popularization by (Breiman, 2001) and others. In this paper, we revisit a random forest model originally proposed by (Breiman, 2004) and later studied by (Biau, 2012), where a feature is selected at random and the split occurs at the midpoint of the block containing the chosen feature. If the regression function is sparse and depends only on a small, unknown subset of $ S $ out of $ d $ features, we show that given $ n $ observations, this random forest model outputs a predictor that has a mean-squared prediction error of order $ \left(n\sqrt{\log^{S-1} n} ight)^{-\frac{1}{S\log2+1}} $. When $ S \leq \lfloor 0.72 d floor $, this rate is better than the minimax optimal rate $ n^{-\frac{2}{d+2}} $ for $ d $-dimensional, Lipschitz function classes. As a consequence of our analysis, we show that the variance of the forest decays with the depth of the tree at a rate that is independent of the ambient dimension, even when the trees are fully grown. In particular, if $ \ell_{avg} $ (resp. $ \ell_{max} $) is the average (resp. maximum) number of observations per leaf node, we show that the variance of this forest is $ \Theta\left(\ell^{-1}_{avg}(\sqrt{\log n})^{-(S-1)} ight) $, which for the case of $ S = d $, is similar in form to the lower bound $ \Omega\left(\ell^{-1}_{max}(\log n)^{-(d-1)} ight) $ of (Lin and Jeon, 2006) for any random forest model with a nonadaptive splitting scheme. We also show that the bias is tight for any linear model with nonzero parameter vector. Thus, we completely characterize the fundamental limits of this random forest model. Our new analysis also implies that better theoretical performance can be achieved if the trees are grown less aggressively (i.e., grown to a shallower depth) than previous work would otherwise recommend.

研究の動機と目的

• 特定のランダムフォレストモデル（ランダム特徴量選択と中央点分割）の理論的性能限界を理解すること。
• 高次元設定下で、モデルの予測誤差が標本サイズ $n$ とスパarsity $S$ に対してどのようにスケーリングするかを分析すること。
• 木の深さと環境次元 $d$ との関係において、フォレストの分散とバイアスの挙動を特徴づけること。
• 通常の手法よりもあまり深く木を成長させない（より浅い深さ）ことで、理論的により良い性能が得られるかどうかを特定すること。

提案手法

• 分析は、各分割で特徴量を一様にランダムに選択し、観測された範囲の中央で分割するランダムフォレストモデルに焦点を当てる。
• 真の回帰関数は $d$ 個の特徴量のうち $S$ 個にのみ依存すると仮定し、$S$ は未知で、かつ小さい可能性がある。
• バイアスと分散の両成分を分析することで平均二乗予測誤差を導出する。線形モデルで非ゼロ係数を持つ場合、バイアスがタイトであることが示されている。
• 分散は、平均リーフサイズ $\ell_{\text{avg}}$ と最大リーフサイズ $\ell_{\text{max}}$ の関数としてその減少率を導出し、$\Theta(\ell^{-1}_{\text{avg}}(\sqrt{\log n})^{-(S-1)})$ であることを示している。
• $d$ 次元のリプシッツ関数に対するミニマックス最適レート $n^{-2/(d+2)}$ と比較する。
• 集中不等式と再帰的分割の議論を用いて、非適応的分割方針下でのバイアスと分散の上限を導出している。

実験結果

リサーチクエスチョン

• RQ1 このランダムフォレストモデルのスパース回帰下での平均二乗予測誤差の正確なレートは何か？
• RQ2 フォレストの分散は木の深さとともにどのように減少するか？また、環境次元 $d$ に依存するか？
• RQ3 $d$ 次元のリプシッツ関数に対して、ミニマックスレート $n^{-2/(d+2)}$ よりも速い誤差レートを達成できるか？
• RQ4 真の回帰関数のスパarsity $S$ がモデルの性能にどのように影響するか？
• RQ5 通常の推奨事項よりも木を浅く成長させることに理論的利点はあるか？

主な発見

• ランダムフォレストモデルの平均二乗予測誤差は、$(n\sqrt{\log^{S-1} n})^{-1/(S\log 2 + 1)}$ のオーダーであり、$S \leq \lfloor 0.72d \rfloor$ のとき、ミニマックスレート $n^{-2/(d+2)}$ よりも速い。
• フォレストの分散は $\Theta(\ell^{-1}_{\text{avg}}(\sqrt{\log n})^{-(S-1)})$ のレートで減少し、環境次元 $d$ に依存しない。完全に成長した木に対しても同様である。
• $S = d$ の場合、分散レートは Lin と Jeon (2006) が示した下界 $\Omega(\ell^{-1}_{\text{max}}(\log n)^{-(d-1)})$ と一致し、タイトであることが示された。
• 任意の非ゼロ係数ベクトルを持つ線形モデルに対して、バイアスがタイトであることが示された。これにより、モデルが低次元構造に適応できることを確認した。
• 分析により、通常の手法よりも木を浅く成長させることで、理論的により良い性能が得られることを明らかにした。これは、従来の常識に挑戦するものである。
• スパース設定では収束が速くなることが示された。これは、環境次元が高かろうが、ランダムフォレストが内蔵された低次元構造に適応できることを示している。