[論文レビュー] Mondrian Forests: Efficient Online Random Forests

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Jun 10, 2014

Neural Networks and Applications参考文献 24被引用数 114

ひとこと要約

本稿では、Mondrianプロセスを用いることで、バッチ学習と同一の分布を保ちながら、効率的で段階的な木の成長を可能にする、Mondrian Forestsと呼ばれる新しいオンラインランダムフォレストアルゴリズムを紹介する。この手法は、バッチランダムフォレストや最先端のオンライン手法と同等の予測精度を達成するが、学習が10倍以上高速であるため、ストリーミングデータ用途に非常に効率的である。

ABSTRACT

Ensembles of randomized decision trees, usually referred to as random forests, are widely used for classification and regression tasks in machine learning and statistics. Random forests achieve competitive predictive performance and are computationally efficient to train and test, making them excellent candidates for real-world prediction tasks. The most popular random forest variants (such as Breiman's random forest and extremely randomized trees) operate on batches of training data. Online methods are now in greater demand. Existing online random forests, however, require more training data than their batch counterpart to achieve comparable predictive performance. In this work, we use Mondrian processes (Roy and Teh, 2009) to construct ensembles of random decision trees we call Mondrian forests. Mondrian forests can be grown in an incremental/online fashion and remarkably, the distribution of online Mondrian forests is the same as that of batch Mondrian forests. Mondrian forests achieve competitive predictive performance comparable with existing online random forests and periodically re-trained batch random forests, while being more than an order of magnitude faster, thus representing a better computation vs accuracy tradeoff.

研究の動機と目的

• バッチ学習と同等の予測性能を維持しつつ、段階的学習を可能にするオンラインランダムフォレストアルゴリズムの開発。
• 既存のオンラインランダムフォレストが、同等の精度に到達するまでにバッチ手法よりもはるかに多くの学習データを必要としているという計算上の非効率性の是正。
• Mondrianプロセスの数学的性質を活用し、オンラインでの木の更新がバッチ学習時と同じ分布を保つようにすること。
• オンライン学習環境における計算効率と予測精度の優れたトレードオフを達成すること。
• 実世界のストリーミングデータ用途に適した、スケーラブルで効率的な、従来のオンラインおよびバッチランダムフォレストの代替手段を提供すること。

提案手法

• 本手法は、入力空間のランダムで軸に平行な分割を定義する確率過程としてのMondrianプロセスを用いて、決定木のアンサンブルを構築する。
• 各木は、新しいデータポイントを用いて条件付き分布MTx(λ, T, DN+1)で構造を段階的に更新することで成長させ、更新後の木がバッチモードで学習された場合と同じ分布に従うことを保証する。
• 主な革新点は、Mondrianプロセスにおける指数分布の無記憶性を活用し、木の深さに対して対数的にスケーリングする効率的なオンライン更新を可能にしたことにある。
• 予測は、アンサンブル内の個々のMondrian木のクラス確率出力を平均することで行われ、標準的なランダムフォレストと同様の方法である。
• オンラインおよびバッチ設定の両方で、木の分布が同一の理論的性質を保つようにアルゴリズムが設計されており、学習モードを問わず一貫性が保たれる。
• 特徴空間内の長方形領域を明示的に表現することで、計算を効率化できるが、高次元設定ではコストが高くなる可能性がある。

実験結果

リサーチクエスチョン

• RQ1 データの順序に関係なく、バッチ学習されたフォレストと同一の木の分布を持つオンラインランダムフォレストを構築できるか？
• RQ2 Mondrianプロセスに基づくオンラインランダムフォレストは、同じデータ割合を用いて学習した場合、バッチランダムフォレストと同等の予測性能を達成できるか？
• RQ3 Mondrian Forestsの学習速度は、既存のオンラインおよびバッチランダムフォレスト手法と比べてどの程度か？
• RQ4 オンラインMondrian Forestsは、精度を維持しつつ、ストリーミングデータを効率的に処理できるか？
• RQ5 不要な特徴がMondrian Forestsの性能に与える影響は何か？また、特徴フィルタリングによって性能を向上させられるか？

主な発見

• Mondrian Forestsは、定期的に再訓練されたバッチランダムフォレストや最先端のオンラインランダムフォレストと同等のテスト精度を達成しており、同じデータ割合で学習した場合でも同様の性能を示す。
• Mondrian Forestsの学習時間はO(N log N)でスケーリングされ、再訓練されたバッチランダムフォレストのO(N² log N)の複雑さよりも10倍以上高速である。
• DNAデータセットでは、不要な特徴を除外した後、Mondrian ForestsとERT-1の性能が著しく向上し、MF†とERT-1†は顕著な精度向上を示した。
• 複数のデータセットにわたるMondrian Forestsの平均木の深さはO(log N)でスケーリングされ、木の更新の対数的時間複雑さを裏付ける。
• Mondrian Forestsは、学習速度および目標精度に到達するまでの学習インスタンス数の両面で、既存のオンラインランダムフォレストを上回っている。
• 本手法は理論的整合性を保っている：オンライン更新により、バッチ学習時と同じ木の分布が得られる。これは、他のオンラインランダムフォレスト手法には見られない特性である。