[論文レビュー] Arbres CART et Forêts aléatoires, Importance et sélection de variables

Robin Genuer, Jean‐Michel Poggi|arXiv (Cornell University)|Oct 26, 2016

Data Mining Algorithms and Applications被引用数 7

ひとこと要約

本稿は、CARTツリーとランダムフォレストの包括的レビューを提供し、それらの理論的基盤、実装の実務的側面、および変数選択とビッグデータ応用における応用を詳細に述べている。パーミュテーションに基づく変数重要度は、理論的保証と多様なデータセットにおける実証的検証を備えた、特徴選択のための頑健な手法として提示されている。

ABSTRACT

Two algorithms proposed by Leo Breiman : CART trees (Classification And Regression Trees for) introduced in the first half of the 80s and random forests emerged, meanwhile, in the early 2000s, are the subject of this article. The goal is to provide each of the topics, a presentation, a theoretical guarantee, an example and some variants and extensions. After a preamble, introduction recalls objectives of classification and regression problems before retracing some predecessors of the Random Forests. Then, a section is devoted to CART trees then random forests are presented. Then, a variable selection procedure based on permutation variable importance is proposed. Finally the adaptation of random forests to the Big Data context is sketched.

研究の動機と目的

• 統計的学習における基礎的ツールとしてのCARTおよびランダムフォレストを提示し、理論的厳密性と実務的有用性の両面を強調すること。
• ランダムフォレストにおけるパーミュテーションに基づく測定を用いた、変数重要度と選択の原則的フレームワークを確立すること。
• 高次元および大規模データ（ビッグデータ）環境におけるランダムフォレストの拡張を検討すること。
• 各手法について理論的保証と実践的例を提供し、解釈可能性と信頼性を向上させること。
• 古典的統計的学習と、ゲノム、生態学、環境科学分野における現代の応用を橋渡しすること。

提案手法

• ノードを分割するためのジニ係数または分散不純度基準を用いて、再帰的分割によりCARTツリーを構築する。
• 過学習を制御し一般化性能を向上させるために、コスト-複雑度プルーニングを適用する。
• 複数のCARTツリーをブートストラップアンサンブル（バギング）で統合し、分散を低減し安定性を向上させる。
• 各分割でランダムな特徴サブセット抽出を追加することで、ランダムフォレストを導入し、さらに耐性と精度を向上させる。
• 別個の検証セットを必要とせず、性能評価を偏りなく行うために、アウトオブバッグ（OOB）誤差推定を用いる。
• パーミュテーションに基づく変数重要度測定を提案：予測子の値をランダムにシャッフルし、予測精度の低下を測定する。

実験結果

リサーチクエスチョン

• RQ1 予測精度、安定性、解釈可能性の観点から、CARTツリーとランダムフォレストはどのように比較されるか？
• RQ2 ランダムフォレストにおけるパーミュテーションに基づく変数重要度の使用に理論的根拠はあるか？
• RQ3 ランダムフォレストは、高次元および大規模（ビッグデータ）な応用にどのように適合できるか？
• RQ4 ランダムフォレストが単一のツリーまたは他のアンサンブル手法よりも頑健である主なメカニズムは何か？
• RQ5 ランダムフォレストにおける変数重要度測定は、複雑なデータセットにおける効果的な特徴選択をどのように支援するか？

主な発見

• ベンチマーク評価において、ランダムフォレストは単一のCARTツリーおよび他のアンサンブル手法を常に上回り、複数の研究で上位2～3位のアルゴリズムとしてランクインしている。
• パーミュテーションに基づく変数重要度は、予測子の関連性を信頼できる非パラメトリック測定として提供し、最近の研究（例：Scornet et al., 2015）で理論的一貫性が確立されている。
• OOB誤差率は一般化誤差の正確な内部推定値として機能し、モデル評価における交差検証の必要性を排除する。
• ランダムフォレストは外れ値や高次元データに対して頑健であり、予測子が相関関係にあったり欠損値を含んでも性能が維持される。
• オンラインランダムフォレストやBLB（Bag of Little Bootstraps）などの拡張により、ビッグデータにおけるスケーラブルな推論が可能となり、統計的妥当性を保持する。
• 変数重要度およびランダムフォレストの一貫性に関する理論的保証は、厳密な漸近的解析によって裏付けられており、高次元設定でも信頼性が確認されている。