[論文レビュー] Understanding Random Forests: From Theory to Practice

Gilles Louppe|arXiv (Cornell University)|Jan 1, 2014

Neural Networks and Applications参考文献 105被引用数 594

ひとこと要約

本博士論文は、ランダムフォレストの包括的な理論的・実用的分析を提供し、学習メカニズム、変数重要度測定による解釈可能性、大規模データセットにおけるスケーラビリティを厳密に検証する。標準的な変数重要度推定におけるマスキング効果や木構造に起因する重大な欠陥を特定し、完全にランダム化された木構造に対して理論的補正を提案。また、大規模データセット上で性能を維持しつつメモリ使用量を削減できる、小規模なランダムサブサンプルに学習させたアンサンブルモデルの有効性を示している。

ABSTRACT

Data analysis and machine learning have become an integrative part of the modern scientific methodology, offering automated procedures for the prediction of a phenomenon based on past observations, unraveling underlying patterns in data and providing insights about the problem. Yet, caution should avoid using machine learning as a black-box tool, but rather consider it as a methodology, with a rational thought process that is entirely dependent on the problem under study. In particular, the use of algorithms should ideally require a reasonable understanding of their mechanisms, properties and limitations, in order to better apprehend and interpret their results. Accordingly, the goal of this thesis is to provide an in-depth analysis of random forests, consistently calling into question each and every part of the algorithm, in order to shed new light on its learning capabilities, inner workings and interpretability. The first part of this work studies the induction of decision trees and the construction of ensembles of randomized trees, motivating their design and purpose whenever possible. Our contributions follow with an original complexity analysis of random forests, showing their good computational performance and scalability, along with an in-depth discussion of their implementation details, as contributed within Scikit-Learn. In the second part of this work, we analyse and discuss the interpretability of random forests in the eyes of variable importance measures. The core of our contributions rests in the theoretical characterization of the Mean Decrease of Impurity variable importance measure, from which we prove and derive some of its properties in the case of multiway totally randomized trees and in asymptotic conditions. In consequence of this work, our analysis demonstrates that variable importances [...].

研究の動機と目的

• ランダムフォレストをブラックボックスとしての使用を超えて、理論的・実用的かつ厳密な理解を提供すること。
• 特にマスキング効果や不純度の誤推定に起因するバイアスに起因する、変数重要度推定における根本的問題を調査・解決すること。
• 大規模データセットにおけるランダムフォレストの計算的スケーラビリティとメモリ効率を分析すること。
• 同時にサンプルと特徴量をサブサンプリングする手法が、フルデータセットでの学習に対する実用的代替手段として有効であるかを評価すること。
• 特にScikit-Learnフレームワーク内での実装を念頭に、ランダムフォレストの設計と実装に関する理論的・実証的知見を提供すること。

提案手法

• ランダムフォレストの複雑性分析を実施し、理論的および実装的文脈における計算効率とスケーラビリティを評価する。
• 漸近的条件下における多路の完全にランダム化された木構造の文脈で、不純度の減少平均（MDI）という変数重要度測定の理論的特性を特定する。
• 制御された条件下でのMDIの数学的性質を導出し、非完全にランダム化された木構造における内在的なバイアスを明らかにする。
• 多数の実証的実験を実施し、フルデータセットと小規模なランダムサブサンプルで学習させたモデルの性能を比較する。
• 同時にサンプルと特徴量をサブサンプリングする二重サブサンプリング戦略を提案・評価し、予測精度を損なわずにメモリフットプリントを削減する。
• 理論的知見を実装の詳細と統合し、特にScikit-Learnライブラリ内での再現可能性と実世界への適用可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 不純度の減少平均（MDI）という変数重要度測定の理論的性質は、特に漸近的および完全にランダム化された条件下でどうなるか？
• RQ2 標準的なランダムフォレストが変数重要度推定においてバイアスを示す理由は何か？その根本的要因はマスキング効果、不純度の誤推定、それとも二分木構造に起因するのか？
• RQ3 大規模データセットの小規模なランダムサブサンプルで学習させたランダムフォレストは、フルデータセットでの学習と同等の高い予測性能を維持できるか？
• RQ4 同時に特徴量とサンプルをサブサンプリングすることは、モデルの性能とメモリ効率にどのような影響を与えるか？
• RQ5 変数重要度測定に対する理論的補正を通じて、ランダムフォレストの解釈性をどのように向上させられるか？

主な発見

• 漸近的条件下において、多路の完全にランダム化された木構造では、不純度の減少平均（MDI）という変数重要度測定は理論的に良好で、バイアスがない。
• 標準的なランダムフォレスト（完全にランダム化されていないもの）では、特に相関する特徴量が存在する場合、マスキング効果や不純度の誤推定に起因して、変数重要度測定に顕著なバイアスが生じる。
• 決定木の二分木構造が、特に特徴量に相関がある場合、変数重要度推定の歪みを引き起こす要因となる。
• 実証的結果から、大規模データセットの小規模なランダムサブサンプル（同時に特徴量もサブサンプリング）で学習させたランダムフォレストは、フルデータセットでの学習と同等の性能を達成できることが示された。
• サブサンプルデータを使用することで、メモリ要件が顕著に削減され、標準的なハードウェアでも大規模なランダムフォレストの学習が可能になった。
• 本研究では、複数の小規模で独立したサブサンプルで学習させたモデルのアンサンブルを構築することは、大規模データセット上で単一のモデルを学習させる代替手段として実用的かつ効率的であることが示された。