[論文レビュー] Sparse Projection Oblique Randomer Forests

Tyler M. Tomita, J. Dale Browne+9 more|arXiv (Cornell University)|Jun 10, 2015

Machine Learning and Data Classification参考文献 28被引用数 8

ひとこと要約

本稿では、非常にスパースなランダム射影を用いて斜交スプリットを生成する決定森、Sparse Projection Oblique Randomer Forests (SPORF) を導入する。SPORF は、斜交森の精度と軸に沿った森の計算効率および頑健性を組み合わせ、100以上の多様なデータセットにおいて最先端の分類性能を達成するとともに、解釈可能性とスケーラビリティを維持する。

ABSTRACT

Decision forests, including Random Forests and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called "Sparse Projection Oblique Randomer Forests" (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

研究の動機と目的

• 軸に沿った森と既存の斜交決定森の限界を克服し、両者の長所を統合すること。
• 予測精度を向上させつつ、計算効率、ノイズに対する頑健性、解釈可能性を維持する手法の開発。
• 既存の斜交森が表現力の向上のため、効率性や解釈可能性を犠牲にしているというトレードオフを克服すること。
• 高次元および大規模データに適したスケーラブルで効率的かつ解釈可能な木のアンサンブルを実現すること。
• ブースティングなどの他のアンサンブル手法へも拡張可能な柔軟なフレームワークの提供。

提案手法

• SPORF は、各射影が少数の特徴のみを組み合わせる非常にスパースなランダム射影をスプリット候補として用いて決定木を構築する。
• 各ノードで、スパースランダム射影の族からサンプリングし、最良のスプリット方向を特定することで、スパarsity と計算効率を保持する。
• 計算コストを低減するため、全組み合わせや密度の高い線形結合ではなく、スパース射影のランダムサーチを採用する。
• 各スプリットがわずか数個の特徴の線形結合であることを保証することで、解釈可能性を維持する。
• scikit-learn API 互換の R および Python 実装が可能で、既存の ML パipラインへの統合を可能にする。
• さらに予測を高速化するための「フォレストパッケージング」最適化を適用し、推論速度を最大100倍に向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパースランダム射影をスプリット候補として用いることで、斜交スプリットの表現力と軸に沿った木の計算効率・頑健性を併せ持つ決定森手法は実現可能か？
• RQ2 標準的な RF や XGBoost と比較して、スパースランダム射影をスプリット候補として用いることで、多様なデータセットにおける一般化性能が向上するか？
• RQ3 SPORF は、既存の斜交森手法を上回る性能を発揮する一方で、解釈可能性とスケーラビリティをどの程度維持できるか？
• RQ4 XGBoost や Ranger と比較して、SPORF の性能は、精度と予測速度の両面でどの程度優れているか？
• RQ5 従来のランダムフォレストが失敗する可能性がある、例えばスパースで高次元の信号が存在する状況において、SPORF は統計的整合性を達成できるか？

主な発見

• SPORF は、次元数、サンプルサイズ、クラス数が異なる100以上のデータセットからなるベンチマークスイートにおいて、最先端の分類精度を達成した。
• Higgs および MNIST データセットでは、SPORF は Ranger よりも予測時間が顕著に速く、p53 データセットではわずかに遅いのみであった。
• フォレストパッケージング最適化により、標準的な SPORF よりも予測時間が100倍以上短縮され、XGBoost よりも10倍以上高速化された。
• 従来のランダムフォレストが解析的に不整合であると証明される問題において、SPORF は限界においてゼロ誤差率を達成し、実証的な統計的整合性を示した。
• シミュレーションにより、より強い個々の木と木同士の相関の低減が原因で、SPORF は RF や既存の斜交手法を上回った。
• SPORF は高次元ノイズに対して頑健であり、計算的にも効率的である。R と Python 用の実装が CRAN および PyPI で利用可能である。