[論文レビュー] Randomer Forests

Tyler M. Tomita, Mauro Maggioni+1 more|arXiv (Cornell University)|Jun 10, 2015

Machine Learning and Data Classification被引用数 8

ひとこと要約

本稿では、スパースなランダムプロジェクションを用いて斜交的スプリットを生成する、新しい意思決定フォレストであるSparse Projection Oblique Randomer Forests（SPORF）を提案する。100以上の分類問題において、最先端の手法を上回る精度を達成しながら、計算効率と解釈可能性を維持している。SPORFは、軸に沿ったフォレストと斜交的フォレストの長所を最小限の特徴スパース線形結合によって統合することで、優れた性能を実現する。

ABSTRACT

Decision forests, including Random and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called Sparse Projection Oblique Randomer Forests (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

研究の動機と目的

• 軸に沿ったフォレストや既存の斜交的意思決定フォレストの限界、例えばノイズに対する耐性の低下、スケーラビリティの悪化、解釈可能性の喪失を解消すること。
• 計算効率と解釈可能性を維持しつつ、分類精度を顕著に向上させる手法を開発すること。
• 非常にスパースなランダムプロジェクションの使用を検討し、意思決定フォレストにおける効果的な斜交的スプリットの作成を可能とすること。
• SPORFがブースティングなどの他のアンサンブル手法にスムーズに統合可能かどうかを評価すること。

提案手法

• SPORFは、各スプリットがわずかな特徴のサブセットでのみ線形結合で定義される、斜交的スプリットを用いた意思決定ツリーを構築する。
• プロジェクション係数はスパース分布からランダムに抽出され、各スプリットに寄与する特徴が僅かに抑えられ、スパarsityと計算効率が保たれる。
• フォレスト内の各ツリーは、データのブートストラップサンプルを用いて学習され、スパースプロジェクション特徴に基づく情報ゲインを最大化するようにスプリットが選ばれる。
• 最終的な予測は、フォレスト内のすべてのツリーの予測を統合することで行われ、分類タスクでは多数決による予測が採用される。
• 本手法は、ブースティングなどの既存のアンサンブルフレームワークと互換性があるように設計されており、他のアンサンブル学習パラダイムへの拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 スパースなランダムプロジェクションは、計算効率や解釈可能性を損なわずに意思決定フォレストの精度を向上させることができるか？
• RQ2 高次元ノイズに対して、SPORFは軸に沿ったフォレストや既存の斜交的フォレストと比較して、どの程度耐性を示すか？
• RQ3 SPORFは、より表現力のある斜交的意思決定境界を可能にする一方で、どの程度解釈可能性を維持できるか？
• RQ4 SPORFは勾配ブースティングなどの他のアンサンブル手法に効果的に統合可能であり、同様の性能向上をもたらすか？

主な発見

• SPORFは、次元数、サンプルサイズ、クラス数が異なる100以上の分類問題を含むベンチマークスイートにおいて、既存の最先端アルゴリズムを顕著に上回る精度を達成した。
• 非常にスパースなランダムプロジェクションの使用により、SPORFは高次元設定でも高い計算効率とスケーラビリティを維持できた。
• SPORFは各スプリットに僅かな特徴しか使用しないことで、解釈可能性を保った。これは、特徴重要度が曇りやすい密度の高い斜交的手法とは対照的である。
• 多数のシミュレート実験により、SPORFは多様なデータ構成において、軸に沿ったフォレストおよび既存の斜交的フォレストを一貫して上回ることが示された。
• SPORFの設計は、ブースティングなどの他のアンサンブル手法への簡単な統合を可能としており、広範な応用とさらなる性能向上の可能性を示唆している。