[論文レビュー] On the asymptotics of random forests

Erwan Scornet|Sep 7, 2014

Bayesian Methods and Mixture Models参考文献 28被引用数 7

ひとこと要約

この論文は、有限のランダムフォレストにおける一様中心極限定理を証明し、その性能を無限のフォレストと結びつけることで、ランダムフォレストの理論的基盤を確立する。無限フォレストの一貫性が有限フォレストの一貫性を示唆することを示し、q-quantileフォレストでは個々の木が一貫性のない場合でも、アンサンブル化によって一貫性のある予測が得られることを示し、ランダムフォレスト手法における理論と実践の主要なギャップを解消する。

ABSTRACT

The last decade has witnessed a growing interest in random forest models which are recognized to exhibit good practical performance, especially in high-dimensional settings. On the theoretical side, however, their predictive power remains largely unexplained, thereby creating a gap between theory and practice. The aim of this paper is twofold. Firstly, we provide theoretical guarantees to link finite forests used in practice (with a finite number M of trees) to their asymptotic counterparts. Using empirical process theory, we prove a uniform central limit theorem for a large class of random forest estimates, which holds in particular for Breiman's original forests. Secondly, we show that infinite forest consistency implies finite forest consistency and thus, we state the consistency of several infinite forests. In particular, we prove that q quantile forests---close in spirit to Breiman's forests but easier to study---are able to combine inconsistent trees to obtain a final consistent prediction, thus highlighting the benefits of random forests compared to single trees.

研究の動機と目的

• 有限の木（M < ∞）を用いたランダムフォレストとその無限の対応（M = ∞）との間を厳密に結びつけることで、ランダムフォレストモデルにおける理論的・実践的ギャップを埋めること。
• 経験過程理論を用いて、ブライマンの元来のアルゴリズムを含む広範なランダムフォレスト推定器のクラスに対して一様中心極限定理を確立すること。
• 無限フォレストの一貫性が有限フォレストの一貫性を示すことを証明することで、理論的結果が実用的実装に正当化されることを示すこと。
• q-quantileフォレスト—個々の木が一貫性のない場合でも—アンサンブル化によって一貫性のある予測が得られることを示し、アンサンブル平均の強力さを強調すること。

提案手法

• 経験過程理論を用いて、入力空間全体にわたる収束を保証するランダムフォレスト推定のための一様中心極限定理を導出する。
• 無限フォレストのL²リスクを分析し、それが任意の有限フォレストのリスクに確率的に支配されることを示し、無限モデルの理論的分析を支援する。
• 木の構築がデータポイントの位置に依存するため、理論的取り扱いが容易になるように、q-quantileフォレストを簡素化されたモデルとして導入する。
• 再帰的積分と帰納法を用いて、レベルkで停止する一様ランダムフォレストの接続関数K_k(0,x)を導出し、閉形式での表現を証明する。
• セル長の比較およびカット位置写像に関する技術的補題を用いて、異なる木の構築設定間の確率的支配関係を確立する。
• 無限フォレストのリスクが有限フォレストのリスクの下界であることを証明し、無限極限での一貫性が有限設定での一貫性を保証することを示す。

実験結果

リサーチクエスチョン

• RQ1 無限ランダムフォレストの一貫性は、有限個の木（M < ∞）を用いた有限ランダムフォレストの一貫性を示唆するか？
• RQ2 一貫性のない個々の木を組み合わせるランダムフォレストでも、全体としての一貫性のある予測が得られるか？
• RQ3 単一の木よりも優れた経験的性能を示すランダムフォレストの理論的根拠は何か？
• RQ4 無限フォレストの理論的分析を、有限個の木を用いた実際の実装に厳密に結びつける方法は何か？
• RQ5 個々の木が一貫性のない場合、ランダム化が一貫性を保証するために果たす役割は何か？

主な発見

• 一般条件の下で、ブライマンの元来のアルゴリズムを含む広範なランダムフォレスト推定器のクラスに対して、一様中心極限定理が確立された。
• 無限フォレストのL²リスクは、任意の有限フォレストのリスクに確率的に支配され、無限フォレストの一貫性が有限フォレストの一貫性を示唆することを示した。
• q-quantileフォレストは、個々の木が一貫性のない場合でも、アンサンブル化によって一貫性のある予測が得られることを証明した。これは、アンサンブル平均の強力さを示している。
• レベルkで停止する一様ランダムフォレストの接続関数K_k(0,x)は、閉形式で1 - x∑_{j=0}^{k-1} (−ln x)^j / j! として導出された。
• 理論的分析により、ランダムフォレストが一貫性のない木を平均化することで一貫性を達成できることを確認し、長年の理論的パズルを解消した。
• 本論文は、有限で実用的なランダムフォレストとその無限の理論的対応物との間で、初めて厳密なリンクを提供し、理論モデルが現実世界の応用に正当化されることを確認した。