[論文レビュー] Risk bounds for purely uniformly random forests

Robin Genuer|arXiv (Cornell University)|Jun 15, 2010

Statistical Methods and Inference参考文献 11被引用数 11

ひとこと要約

この論文は、学習データに依存せずに分割を一様にランダムに生成する、純粋に一様なランダムフォレスト（PURF）を導入する。1次元回帰において、PURFが最小最大収束速度を達成し、単一のランダム木と比較して推定誤差の分散を3/4に削減することを証明しており、バイアスを増加させることなくアンサンブル平均化による理論的利点を示している。

ABSTRACT

Random forests, introduced by Leo Breiman in 2001, are a very effective statistical method. The complex mechanism of the method makes theoretical analysis difficult. Therefore, a simplified version of random forests, called purely random forests, which can be theoretically handled more easily, has been considered. In this paper we introduce a variant of this kind of random forests, that we call purely uniformly random forests. In the context of regression problems with a one-dimensional predictor space, we show that both random trees and random forests reach minimax rate of convergence. In addition, we prove that compared to random trees, random forests improve accuracy by reducing the estimator variance by a factor of three fourths.

研究の動機と目的

• 純粋に一様なランダムフォレスト（PURF）という、ランダムフォレストの簡素化された変種を分析し、その性能に関する理論的考察を可能にする。
• 1次元の予測子空間を有する非パラメトリック回帰におけるPURFのリスクバウンドを確立する。
• ランダムフォレストを単一のランダム木と比較して、推定誤差の分散がどの程度改善されるかを定量化する。
• PURFがリプシッツ関数のクラスにおいて最小最大収束速度を達成することを示す。
• 理論的に取り扱いやすい設定において、アンサンブル平均化による分散低減の利益を明確に分離する。

提案手法

• 単位区間 [0,1] のランダムな分割を、k 個の独立同分布の一様乱数を用いて構築し、回帰ヒストグラムに基づく木の構築に用いる。
• フォレストに含まれる各木は、独立に生成されたランダムな分割に基づき構築され、各ビン内の平均応答に基づいて予測がなされる。
• q 個の独立な PURF 木の予測値を平均化することで、フォレスト予測子が構築され、分散が低減される。
• リスク分解を用いてバイアスと分散の成分に分離し、分散項は2つの木の重複するビンの期待数によってバウンドされる。
• 主な技術的道具は、一様乱数の順序統計量と超幾何分布の恒等式であり、これらを用いてランダム分割間の期待重複数を計算する。
• n → ∞ の漸近的解析を用いて理論的バウンドを導出する。k は n に対してゆっくりと増加させることで、バイアスと分散を両立させる。

実験結果

リサーチクエスチョン

• RQ1 純粋に一様なランダムフォレストは、1次元非パラメトリック回帰において最小最大収束速度を達成できるか？
• RQ2 ランダムフォレストの推定誤差の分散は、単一のランダム木と比較してどの程度異なるか？
• RQ3 この簡素化モデルにおいて、ランダムフォレストのアンサンブル平均化はバイアスを増加させることなく分散を低減するか？
• RQ4 PURFにおける分散低減の正確な係数は、単一の PURT と比較してどの程度か？
• RQ5 i.i.d. な一様分割の設定において、ランダムフォレストの理論的性能を厳密に分析できるか？

主な発見

• 純粋に一様なランダムフォレストは、1次元入力空間におけるリプシッツ関数のクラスの回帰において、最小最大収束速度を達成する。
• ランダムフォレスト推定誤差の分散は、単一のランダム木と比較して3/4の係数で低減されるが、バイアスは変化しない。
• 2つの独立した PURF 間の重複ビンの期待数は、漸近的に (k+1)/4 に収束し、これが分散低減の原因となる。
• n → ∞ のとき、PURF のリスクバウンドは O(σ²(k+1)/n) となる。低次の項は消えていくため、最小最大最適性が確認される。
• 分析により、PURF におけるアンサンブル平均化が分散を3/4の係数で効果的に低減することが確認され、ランダムフォレストの性能向上の理論的根拠が得られる。
• この結果は、i.i.d. な一様分割と既知の誤差分散 σ² の仮定の下で成り立ち、モデルは1次元予測子に限定される。