[論文レビュー] Analysis of a Random Forests Model

Gérard Biau|arXiv (Cornell University)|May 3, 2010

Neural Networks and Applications参考文献 36被引用数 652

ひとこと要約

本論文は、レオ・ブライマンが提唱したランダムフォレストモデルの厳密な理論的分析を提供し、その手法が一貫性を示し、スパarsity（スパarsity）に適応することを示している。収束速度は、全入力変数（ノイズ特徴量を含む）の数に依存せず、関連のある（強い）特徴量の数にのみ依存する。この分析により、高次元設定におけるランダムフォレストの頑健な性能の理論的基盤が確立される。

ABSTRACT

Random forests are a scheme proposed by Leo Breiman in the 2000's for building a predictor ensemble with a set of decision trees that grow in randomly selected subspaces of data. Despite growing interest and practical use, there has been little exploration of the statistical properties of random forests, and little is known about the mathematical forces driving the algorithm. In this paper, we offer an in-depth analysis of a random forests model suggested by Breiman in \\cite{Bre04}, which is very close to the original algorithm. We show in particular that the procedure is consistent and adapts to sparsity, in the sense that its rate of convergence depends only on the number of strong features and not on how many noise variables are present.

研究の動機と目的

• ランダムフォレスト、広く使われているが理解が十分でないアンサンブル手法の、厳密な理論的基盤を提供すること。
• ブライマンが提唱した特定のモデル変種を分析し、元のアルゴリズムに近い動作を再現すること。
• モデルの収束挙動における一貫性とスパarsityへの適応性を確立すること。
• 特に、多くの無関係な特徴量を含む高次元設定におけるランダムフォレストの性能を駆動する数学的要因を明確にすること。

提案手法

• 研究は、各木がランダムサブスペース選択とバギング（ブートストラップアンサンブル）を用いて成長するランダムフォレストモデルを分析している。
• 各木は、各ノードで特徴量のサブセットをランダムに選択し、CARTベースの分割を用いて情報量の増加を最大化する。
• 最終的な予測は、ランダム化された木のアンサンブル上の期待値であり、モンテカルロサンプリングによって近似される。
• 理論的分析には、二項分布および超幾何分布の確率変数の集中不等式とモーメントバウンドが用いられる。
• 主な道具として、コーシーの積分公式と母関数のバウンドが、木間での特徴量の重複確率を制御するために用いられる。
• 対称性とモーメント不等式を活用し、特徴量が木全体で何回選択されるかの尾部バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 ブライマンが提唱したランダムフォレストモデルは一貫性を示すか。すなわち、標本サイズが増加するにつれて予測誤差がゼロに収束するか。
• RQ2 ランダムフォレストの収束速度は、強い（関連のある）特徴量の数にのみ依存するのか、それともノイズ変数の存在によって劣化するのか。
• RQ3 高次元設定において多くの無関係な特徴量を含む場合に、ランダムフォレストの頑健性を駆動する数学的メカニズムは何か。
• RQ4 ランダムサブスペース選択とバギングのメカニズムが、一貫性とスパarsityへの適応性にどのように寄与するか。
• RQ5 複数の木にわたる特徴量の選択確率について理論的バウンドを導出可能か。また、これにより予測精度にどのような影響があるか。

主な発見

• ランダムフォレストモデルは一貫性を示す。予測の平均二乗誤差は、標本サイズが増加するにつれてゼロに収束する。
• 収束速度は、全入力変数の数に依存せず、強い特徴量の数にのみ依存する。これにより、スパarsityへの適応性が示された。
• ある特徴量が木に選択される確率はバウンドされており、二項分布および超幾何分布のモーメントバウンドにより、木間の重複が制御されている。
• 特徴量が木全体で選択される期待回数は深さとともに指数関数的に減少し、アンサンブル内の多様性が保証される。
• 特徴量選択頻度の尾部挙動に関する理論的バウンドにより、ノイズ特徴量が集約プロセスで効果的に除外されることが示された。
• 分析により、ランダムフォレストがスパースな高次元モデルにおいて最適な収束速度を達成することが確認され、オракル推定器の理論的性能と一致することが示された。