[論文レビュー] Impact of subsampling and pruning on random forests

Roxane Duroux, Erwan Scornet|arXiv (Cornell University)|Mar 14, 2016

Data Mining Algorithms and Applications参考文献 19被引用数 8

ひとこと要約

本稿では、ランダムフォレストの性能に与えるサブサンプリングおよびプルーニングの影響を調査し、パラメータを最適にチューニングした場合、完全にサブサンプリングされたフォレストとプルーニングされたフォレストが同等の精度を達成することを示している。中央値フォレストモデルの理論的分析により、サブサンプリングとプルーニングは誤差低減に同等の効果を持つことが判明し、サブサンプルサイズまたは木の深さを慎重に選択することで最適な性能が達成されることが明らかになった。

ABSTRACT

Random forests are ensemble learning methods introduced by Breiman (2001) that operate by averaging several decision trees built on a randomly selected subspace of the data set. Despite their widespread use in practice, the respective roles of the different mechanisms at work in Breiman's forests are not yet fully understood, neither is the tuning of the corresponding parameters. In this paper, we study the influence of two parameters , namely the subsampling rate and the tree depth, on Breiman's forests performance. More precisely, we show that fully developed sub-sampled forests and pruned (without subsampling) forests have similar performances, as long as respective parameters are well chosen. Moreover , experiments show that a proper tuning of subsampling or pruning lead in most cases to an improvement of Breiman's original forests errors.

研究の動機と目的

• サブサンプリング率と木の深さ（ノードサイズまたはmaxnodeを介して）がランダムフォレストの性能に与える影響を理論的に分析すること。
• サブサンプリングとプルーニングがランダムフォレストの一般化誤差に与える影響を理解するための理論的枠組みを確立すること。
• 異なるサブサンプリングおよびプルーニング設定における性能を比較することで、理論的発見を実証的に検証すること。
• ブライマンのランダムフォレストにおける最適なパrameterチューニングの指針を提供し、デフォルト設定を超えて進化させること。
• 適切にチューニングされたサブサンプリングまたはプルーニングにより、標準的なランダムフォレスト設定よりも予測誤差を低減できることを示すこと。

提案手法

• ランダムフォレストの予測のリスクの上界を導出するために、'中央値フォレスト'と呼ばれる理論的モデルを分析する。
• 各分割がデータ空間を二等分する再帰的分割アプローチを用いて、木の構築をモデル化する。
• フォレスト推定値と真の回帰関数との間の期待二乗偏差を分析することで、予測の分散の上界を導出する。
• 集中不等式と端末ノード内のデータポイント数に関する再帰的バウンドを適用し、分散の増大を制御する。
• 中央値フォレストのリスクが、木の数に関連する項と木の深さに関連する項の和で上界付けられることを確立する。
• 対数変換と漸近的近似を用いて、標本サイズ n と次元 d に関して、サブサンプルサイズと木の深さの最適値を導出する。

実験結果

リサーチクエスチョン

• RQ1 サブサンプリング率はランダムフォレストの一般化誤差にどのように影響するか？
• RQ2 誤差低減の観点から、サブサンプリングとプルーニングの理論的関係は何か？
• RQ3 サブサンプリングなしのプルーニングは、完全にサブサンプリングされたフォレストと同等の性能を達成できるか？
• RQ4 予測誤差を最小化するためのサブサンプルサイズと木の深さの最適なトレードオフは何か？
• RQ5 理論的誤差バウンドは、異なるパラメータ設定における実験的性能とどのように比較されるか？

主な発見

• 完全にサブサンプリングされたフォレストとプルーニングされたフォレストは、それぞれのパラメータ（サブサンプルサイズと木の深さ）を最適にチューニングした場合、同等の性能を達成する。
• 理論的分析により、サブサンプリングとプルーニングは両方とも分散を同様の方法で低減し、リスクバウンドに同等の影響を持つことが示された。
• 最適なサブサンプルサイズは $ n^{\frac{\ln 2}{\ln 2 - \ln(1 - 3/(4d))}} $ に比例し、標本サイズ n に従って増加し、次元 d に依存する。
• 最適な木の深さ（ノードサイズの観点から）はサブサンプルサイズに対して対数的であり、$ k \approx \log_2(a_n) - 2 $ と表され、バイアスとバリアンスのバランスをとる。
• 実験的検証により、サブサンプリングまたはプルーニングのいずれかをチューニングすることで、デフォルト設定よりも誤差率が改善されることが確認された。
• 導出されたリスクの上界は $ n^{\frac{\ln(1 - 3/(4d))}{\ln 2 - \ln(1 - 3/(4d))}} $ に従って減少し、次元 d に依存する非多項式の減少率を示している。