[論文レビュー] Consistency of Online Random Forests

Misha Denil, David S. Matheson+1 more|arXiv (Cornell University)|Feb 20, 2013

Data Stream Mining Techniques参考文献 27被引用数 37

ひとこと要約

この論文は、オンラインランダムフォレストにおける最初の一貫性結果を確立し、緩い正則性条件の下で、アルゴリズムが漸近的に真の条件付き平均に収束することを証明している。固定サイズのフリンジデータ構造と、推定不純度と予測誤差に基づくオンラインスプリットルールを用いることで、すべての関連領域が最終的に探索され、スプリットされ、ストリーミングデータの制約下でも一貫性を達成する。

ABSTRACT

As a testament to their success, the theory of random forests has long been outpaced by their application in practice. In this paper, we take a step towards narrowing this gap by providing a consistency result for online random forests.

研究の動機と目的

• オンライン学習の変種における一貫性を確立することで、理論と実践のギャップを埋める。
• ストリーミングデータ下でも予測精度を維持できる理論的裏付けのあるオンラインランダムフォレストアルゴリズムを開発する。
• 訓練データが蓄積されるにつれて、アルゴリズムの予測が真の回帰関数に確率的に収束することを証明する。
• 木の成長が固定サイズのフリンジデータ構造によって制限されても、一貫性を保証する。

提案手法

• 木の成長にまだ使われていない非アクティブなデータポイントを格納するため、固定サイズのフリンジデータ構造を用いる。
• 推定不純度の低下と予測誤差に基づいてスプリットを選択するオンラインスプリットルールを適用する。
• スプリット品質とリーフ予測における推定誤差を制御するために、ホフディングの不等式を用いる。
• 過去の木構造に条件を課し、すべてのリーフに対して和集合の不等式を用いて、すべての領域が最終的に探索されることを保証する。
• 正のスプリットポテンシャルを持つすべてのリーフが、任意に高い確率で有限時間内にフリンジに追加される再帰的スプリットルールを導入する。
• セルの体積が深さとともに指数関数的に減少する「収縮セル」の議論を用い、真の関数への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングデータの仮定下で、オンラインランダムフォレストは一貫性を示せるか？
• RQ2 固定サイズのフリンジデータ構造は、オンラインランダムフォレストの一貫性を損なうか？
• RQ3 推定不純度と予測誤差に基づくオンラインスプリットルールは、真の条件付き平均への収束を保証できるか？
• RQ4 ある時点で利用可能なデータのサブセットのみを木の成長に使用する場合でも、一貫性を維持できるか？

主な発見

• オンラインランダムフォレストアルゴリズムは一貫性を持つ：訓練点の数が増加するにつれて、その予測は真の回帰関数に確率的に収束する。
• 正のスプリットポテンシャルを持つすべてのリーフが、有限時間内に任意に高い確率でフリンジに追加され、どの領域も永続的に無視されない。
• K回のスプリットによって作られる任意のセルの期待体積は、(2Dm+1)/(2Dm+2)^K として指数関数的に減少し、領域の急速な縮小を保証する。
• スプリット数がデータ蓄積に対して非線形的に増加する限り、固定サイズのフリンジであっても一貫性が維持される。
• ホフディングの不等式を用いて導かれた理論的バウンディングにより、スプリット品質と予測における推定誤差が高確率で制御される。
• スプリットがすべてのリーフで同時に実行されない場合でも、アルゴリズムは漸近的に収縮リーフ条件を満たす。