[論文レビュー] Random Projection Forests

Tyler M. Tomita, J. Dale Browne+7 more|arXiv (Cornell University)|Jun 10, 2015

Machine Learning and Data Classification被引用数 5

ひとこと要約

本論文では、スパースなランダム射影を用いて斜交的スプリットを生成する、新しい意思決定フォレストであるSparse Projection Oblique Random Forests（SPORF）を提案する。この手法は、軸に沿ったスプリットや既存の斜交的フォレストよりも精度を向上させつつ、計算効率性と解釈可能性を維持する。SPORFは、次元数やサンプルサイズが異なる100以上の分類問題からなるベンチマークスイートにおいて、最先端の性能を達成する。

ABSTRACT

Decision forests, including Random and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called Sparse Projection Oblique Randomer Forests (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

研究の動機と目的

• 高次元空間における軸に沿った意思決定フォレストの限界、特に精度の低下を是正するため、斜交的スプリットのための新規手法を導入すること。
• 密度的または複雑な射影を用いる既存の斜交的意思決定フォレスト手法が抱える計算非効率性と解釈可能性の低下を克服すること。
• ランダムフォレストの優れた特性を維持しつつ、予測性能を顕著に向上させるスケーラブルで頑健なアンサンブル手法を開発すること。
• ブースティングなどの既存のアンサンブルフレームワークへのシームレスな統合を可能にし、より広範な機械学習パイプラインにおける性能向上を実現すること。

提案手法

• SPORFは、各スプリットがわずかに選択された特徴量の部分集合の線形結合に基づく、スパースなランダム射影を用いて意思決定ツリーを構築する。
• 各射影はスパースに設計されており、各スプリットに寄与する特徴量がわずかに限られているため、計算効率性と解釈可能性が保たれる。
• ランダムでデータに依存しない射影戦略を採用することで、過学習を防ぎつつ、複雑な特徴量の相互作用を捉えた斜交的意思決定境界を生成する。
• SPORFはランダムフォレストのアンサンブル構造を維持し、複数のこのようなツリーを組み合わせることで汎化性能と頑健性を向上させる。
• アルゴリズムは、ブースティングやランダムフォレストの既存フレームワークと互換性があり、即時のパフォーマンス向上を実現できる。

実験結果

リサーチクエスチョン

• RQ1 意思決定フォレストにおけるスパースなランダム射影は、計算効率性を維持したまま、軸に沿ったスプリットよりも高い精度を達成できるか？
• RQ2 SPORFは、スケーラビリティと解釈可能性の観点から、既存の斜交的意思決定フォレスト手法と比較してどのように異なるか？
• RQ3 SPORFは、次元数やサンプルサイズが異なる多様な分類問題において、どの程度性能を向上させるか？
• RQ4 SPORFは、ブースティングなどの他のアンサンブル学習手法に効果的に統合可能であり、一貫した性能向上をもたらすか？

主な発見

• SPORFは、次元数やサンプルサイズが異なる100以上の分類問題からなるベンチマークスイートにおいて、軸に沿ったスプリットや既存の斜交的フォレスト手法を上回る最先端の精度を達成する。
• スパースなランダム射影の使用により、SPORFは高次元データセットへのスケーラビリティを維持する高い計算効率性を実現する。
• SPORFは、各スプリットでわずかな特徴量のみに依存するため、密度的な斜交的手法が特徴量の重要性を曇らせるのとは異なり、解釈可能性を保つ。
• 広範なシミュレーションにより、高次元やノイズが多い環境を含む多様なデータ環境において、SPORFが一貫して性能を向上させることが確認された。
• ブースティングフレームワークとの強い相性を示し、アンサンブル学習パイプラインにおける広範な採用の可能性を示唆している。