[論文レビュー] Sharp Analysis of a Simple Model for Random Forests

Jason M. Klusowski|arXiv (Cornell University)|May 7, 2018

Data Mining Algorithms and Applications参考文献 25被引用数 9

ひとこと要約

この論文は、ランダムに選択された特徴量に沿って中点で分割を行う、中心化されたランダムフォレストモデルの鋭い非漸近的解析を提供する。$ d $ 個の特徴量のうち $ S $ 個にのみ依存するリプシッツ連続な回帰関数に対して、予測誤差率が $ O((n(\mathrm{log}\, n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $ であることを確立し、対数要因を除いてミニマックス最適レートに一致する。これは、ビオーが提起した未解決の問題を解決するものである。

ABSTRACT

Random forests have become an important tool for improving accuracy in regression and classification problems since their inception by Leo Breiman in 2001. In this paper, we revisit a historically important random forest model originally proposed by Breiman in 2004 and later studied by Gérard Biau in 2012, where a feature is selected at random and the splits occurs at the midpoint of the node along the chosen feature. If the regression function is Lipschitz and depends only on a small subset of $ S $ out of $ d $ features, we show that, given access to $ n $ observations and properly tuned split probabilities, the mean-squared prediction error is $ O((n(\log n)^{(S-1)/2})^{-\frac{1}{S\log2+1}}) $. This positively answers an outstanding question of Biau about whether the rate of convergence for this random forest model could be improved. Furthermore, by a refined analysis of the approximation and estimation errors for linear models, we show that this rate cannot be improved in general. Finally, we generalize our analysis and improve extant prediction error bounds for another random forest model in which each tree is constructed from subsampled data and the splits are performed at the empirical median along a chosen feature.

研究の動機と目的

• ビオー（2012）が提起した、単純なランダムフォレストモデルの収束レートを改善できるかどうかという未解決の問題を解消すること。
• 標本サイズ $ n $、次元 $ d $、スパarsity $ S $ に明示的に依存する非漸近的予測誤差バウンドを提供すること。
• ランダムフォレストの文脈において、線形モデルの近似誤差と推定誤差のタイトなバウンドを確立すること。
• サブサンプリングされたデータと中央値に基づく分割を用いる第二のランダムフォレストモデルへの分析を一般化すること。
• 導出されたレートが一般には改善できないことを示し、モデルの根本的限界を確立すること。

提案手法

• 各木が独立に成長し、ランダムな特徴量選択と選択された特徴量に沿った中点での分割を用いる、中心化されたランダムフォレストモデルを分析する。
• 非漸近的フレームワークを用いて平均二乗予測誤差をバウンドし、近似誤差と推定誤差に分解する。
• スターリングの近似を用いたマルチノミアル尾部確率の精密な解析を適用し、独立な木同士の不一致確率を制御する。
• 二つの独立なマルチノミアルベクトル間の $ \ell^1 $-距離の期待指数に対する鋭い上界を導出する。
• 分割確率にやや弱い条件のもとで、上界のタイトさを示すために、同様の量に対する下界を確立する。
• 分割が選択された特徴量の経験的中央値に基づいて行われる、サブサンプリング版のモデルへの分析を一般化する。

実験結果

リサーチクエスチョン

• RQ1 中心化されたランダムフォレストモデルの予測誤差率は、以前に知られていた $ O(n^{-1/(S\log 2 + 1)}) $ レートを超えて改善可能か？
• RQ2 導出されたレート $ O((n(\log n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $ は、このモデルに対してミニマックス意味で最適か？
• RQ3 このランダムフォレストフレームワークにおける近似誤差と推定誤差の根本的トレードオフは何か？
• RQ4 高次元的スパース設定下で、リプシッツ連続な回帰関数に対して、このモデルはミニマックス最適レートを達成するか？
• RQ5 サブサンプリングされたデータと経験的中央値を用いるようなより現実的なバージョンへの分析を拡張可能か？

主な発見

• この論文は、リプシッツ的かつスパースな回帰関数の下で、中心化されたランダムフォレストモデルに対して非漸近的予測誤差レート $ O((n(\log n)^{(S-1)/2})^{-1/(S\log 2 + 1)}) $ を確立した。
• このレートは、対数要因を除いてミニマックス最適レートに一致し、ビオーの未解決問題である「このレートを改善できるか」を解決した。
• 分析により、このモデルの近似誤差は $ O(k_n^{-1/(S\log 2 + 1)}) $ であり、ここで $ k_n $ は端末ノード数であるが、一般には改善できないことが示された。
• サブサンプリングされた中央値ベースのランダムフォレストモデルに対しては、ノードサイズと分割確率の制御に関する分析を精緻化することで、既存の予測誤差バウンドを改善した。
• 独立なマルチノミアルベクトル間の $ \ell^1 $-距離の期待指数に関する導出された上界と下界は、解析のタイトさを確認した。
• 結果として、適切なチューニングのもとで、単純なランダムフォレストモデルですら最適レートを達成できることを示した。これは、高次元的スパース設定下での分割確率設計の重要性を強調するものである。