[論文レビュー] Asymptotic Properties of High-Dimensional Random Forests

Chien-Ming Chi, Patrick Vossler+2 more|arXiv (Cornell University)|Apr 29, 2020

Statistical Methods and Inference参考文献 32被引用数 8

ひとこと要約

本論文は、高次元非パラメトリック回帰における元のランダムフォレストアルゴリズムについて、CART分割基準を用いた最初の一貫性率を確立した。Sufficient Impurity Decrease（SID）条件を導入し、バイアス・バリアンスのトレードオフを分析することで、特徴次元が標本サイズに対して多項式的にしか増加しない場合、不連続な回帰関数や完全に成長しない木を含む状況でも、ランダムフォレストが多項式レートの一貫性を達成することを示した。

ABSTRACT

As a flexible nonparametric learning tool, the random forests algorithm has been widely applied to various real applications with appealing empirical performance, even in the presence of high-dimensional feature space. Unveiling the underlying mechanisms has led to some important recent theoretical results on the consistency of the random forests algorithm and its variants. However, to our knowledge, almost all existing works concerning random forests consistency in high dimensional setting were established for various modified random forests models where the splitting rules are independent of the response; a few exceptions assume simple data generating models with binary features. In light of this, in this paper we derive the consistency rates for the random forests algorithm associated with the sample CART splitting criterion, which is the one used in the original version of the algorithm, in a general high-dimensional nonparametric regression setting through a bias-variance decomposition analysis. Our new theoretical results show that random forests can indeed adapt to high dimensionality and allow for discontinuous regression function. Our bias analysis characterizes explicitly how the random forests bias depends on the sample size, tree height, and column subsampling parameter. Some limitations on our current results are also discussed.

研究の動機と目的

• 特徴次元が標本サイズとともに増加する高次元設定において、元のランダムフォレストアルゴリズムの理論的一貫性レートを確立すること。
• バイアス・バリアンス分解フレームワークを用いて、予測誤差のバイアスおよびバリアンス成分を分析すること。
• モデルの複雑さを特徴づけるパrameter（木の高さとカラムサブサンプリング）が収束レートに与える影響を特定すること。
• 高次元的一貫性を可能にする鍵となる仮定であるSufficient Impurity Decrease（SID）条件を導入し、その妥当性を裏付けること。
• 応答変数に依存しない分割ルールを仮定した簡素化されたモデルを超えて、ランダムフォレストの理論的理解を拡張すること。

提案手法

• 近似誤差（バイアス）と推定バリアンスを別々に分析できるように、予測損失のバイアス・バリアンス分解を提案した。
• 各特徴空間のセルが、十分な量のバイアス低減を実現する分割を可能にするSufficient Impurity Decrease（SID）条件を導入した。
• 近似誤差に対する明示的バウンドを用いて、バイアスが標本サイズ、木の高さ、カラムサブサンプリングパラメータにどのように依存するかを分析した。
• セルベースのバリアンス分解と条件付き確率の議論を用いて、不純度低減に基づいて推定バリアンスをバウンドした。
• ベルヌーイの不等式と幾何確率的議論を適用し、特徴座標におけるジャンプ点の異なる配置に対応するバリアンスバウンドを精緻化した。
• 部分セルの構造と分割確率の性質を用いて、セルを条件とする回帰関数の条件付きバリアンスに対する統一的な上界を導出した。

実験結果

リサーチクエスチョン

• RQ1 CART分割とカラムサブサンプリングを用いた元のランダムフォレストアルゴリズムは、高次元非パラメトリック回帰において一貫性を達成できるか？
• RQ2 高次元において、ランダムフォレストのバイアスは標本サイズ、木の高さ、カラムサブサンプリングにどのように依存するか？
• RQ3 多項式収束レートを保証するためには、回帰関数および特徴分布にどのような条件が必要か？
• RQ4 完全に成長しない木を含む高次元設定下で、ランダムフォレスト推定量のバリアンスはどのように振る舞うか？
• RQ5 Sufficient Impurity Decrease（SID）条件は、理論的一貫性を可能にする上で果たす役割は何か？

主な発見

• SID条件のもとで、特徴次元が標本サイズに対して多項式的にしか増加しない場合、ランダムフォレスト推定量は多項式レートの一貫性を達成する。
• ランダムフォレストのバイアスは、標本サイズと木の高さが増加するにつれて減少し、より大きなカラムサブサンプリングによってもさらに低減され、近似精度が向上する。
• 推定量のバリアンスは有界であり、分割による不純度低減に依存するが、高い確率でセルを効果的に分割する分割が行われる場合には、より厳密な制御が可能になる。
• SID条件により、各分割で十分なバイアス低減が可能であることが保証され、不連続な回帰関数に対しても収束レートの導出が可能になる。
• 分析から、ランダムフォレストが木の深さ、サブサンプリング、データ構造の相互作用を通じて高次元に適応可能であり、バイアスとバリアンスの両方を制御できることを明らかにした。
• 本研究の理論的結果は、標準的なCART分割ルールを用いた一般の高次元非パラメトリック設定において、元のランダムフォレストアルゴリズムの一致率を初めて確立した。