[論文レビュー] Random Forests: some methodological insights

Robin Genuer, Jean‐Michel Poggi+1 more|ArXiv.org|Nov 21, 2008

Neural Networks and Applications参考文献 37被引用数 147

ひとこと要約

本稿は、変数の重要度推定と2段階の変数選択戦略（重要度スコアで変数をランク付けした後、段階的・上昇的に含める）に焦点を当てたランダムフォレストの手法的洞察を提供する。標準的および高次元問題における最適なパラメータ設定を確認し、変数の重要度インデックスが、特に逐次的特徴導入を組み合わせることで予測性能が向上する場合に、関連する予測変数を信頼性高く同定できることを示している。

ABSTRACT

This paper examines from an experimental perspective random forests, the increasingly used statistical method for classification and regression problems introduced by Leo Breiman in 2001. It first aims at confirming, known but sparse, advice for using random forests and at proposing some complementary remarks for both standard problems as well as high dimensional ones for which the number of variables hugely exceeds the sample size. But the main contribution of this paper is twofold: to provide some insights about the behavior of the variable importance index based on random forests and in addition, to propose to investigate two classical issues of variable selection. The first one is to find important variables for interpretation and the second one is more restrictive and try to design a good prediction model. The strategy involves a ranking of explanatory variables using the random forests score of importance and a stepwise ascending variable introduction strategy.

研究の動機と目的

• 標準的（n >> p）および高次元的（n << p）設定におけるランダムフォレストのパラメータチューニングの実用的ガイドラインの妥当性を検証・拡張すること。
• ランダムフォレストの変数の重要度（VI）インデックスが、関連する予測変数を同定する際にどのように動作し、信頼性があるかを調査すること。
• 2段階の変数選択戦略（VIスコアで変数をランク付けし、その後逐次的に上昇的に含める）を提案・評価すること：最適な予測性能を達成すること。
• 変数選択の二重の目的、すなわち解釈可能性（重要変数の同定）と予測（最小限で効果的なモデルの構築）を同時に満たすこと。

提案手法

• 分類、多クラス、回帰問題のための実データおよびシミュレートデータを含む、Rパッケージmlbenchからのベンチマークデータセットを用いる。
• 予測誤差と変数の重要度スコアに注目し、さまざまなmtry値とサンプルサイズにおけるランダムフォレストのパフォーマンスを評価する。
• 予測変数のランク付けに、ランダムフォレストで標準的に行われるOut-of-Bag（OOB）誤差低減法を用いて変数の重要度を計算する。
• 段階的・上昇的変数導入戦略を適用：予測性能が頭打ちに達するまで、重要度スコアの高い順に変数を順次追加する。
• 標準的および高次元的データセット（p >> nの遺伝子発現データを含む）でこの手法をテストする。
• 統計的パフォーマンスは、予測誤差（回帰問題ではMSE、分類問題では誤分類率）と変数選択の正確性によって評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的ランダムフォレストのパラメータ設定（例：mtry）が、異なるデータ環境（n >> p 対 n << p）においてパフォーマンスにどのように影響するか？
• RQ2 特に高次元的環境下で、ランダムフォレストの変数の重要度インデックスが、真に関連する予測変数を同定する際にどれほど信頼できるか？
• RQ3 2段階の変数選択戦略（重要度でランク付けした後、逐次的に含める）が、予測精度を向上させるとともに解釈可能性を維持できるか？
• RQ4 変数の重要度インデックスは、異なる種類のデータ（2値、多クラス、回帰）および異なるノイズレベルにおいて一貫性を示すか？

主な発見

• ランダムフォレストの変数の重要度インデックスは、p >> nのような高次元的環境（例：遺伝子発現データ）においても、最も関連する予測変数を常に上位にランク付けする。
• 高次元的問題では、上位ランクの変数のわずかなサブセットのみで良好な予測パフォーマンスが達成され、重要度に基づく選択戦略の有効性が裏付けられる。
• 重要度スコアに従って変数を段階的に上昇的に含めることで、安定した予測パフォーマンスの向上が得られ、特に最適なmtry値と組み合わせると顕著である。
• 本研究は、mtry値が√pまたは問題の種別に応じてp/3の周辺に設定されると、多様なデータセットで頑健なパフォーマンスを示すことを確認し、既存のヒューリスティックな推奨事項を支持する。
• 多クラスおよび回帰問題において、変数の重要度インデックスは、複数回の実行および複数のデータセットにおいても、最も予測に寄与する特徴を的確に同定する。
• 予測変数の数が観察数を著しく上回る場合でも、OOB誤差に基づく変数の重要度測定は信頼性を保ち続けるため、高次元的特徴選択への応用が妥当である。