[論文レビュー] Randomization as Regularization: A Degrees of Freedom Explanation for Random Forest Success

Lucas Mentch, Siyu Zhou|arXiv (Cornell University)|Oct 31, 2019

Gaussian Processes and Bayesian Inference被引用数 42

ひとこと要約

この論文は、ランダムフォレストにおける追加のランダム性が暗黙の正則化として機能し、自由度を低減して低SNR設定での性能を向上させると主張し、シミュレーションと線形モデルの類比によってこの効果を示している。

ABSTRACT

Random forests remain among the most popular off-the-shelf supervised machine learning tools with a well-established track record of predictive accuracy in both regression and classification settings. Despite their empirical success as well as a bevy of recent work investigating their statistical properties, a full and satisfying explanation for their success has yet to be put forth. Here we aim to take a step forward in this direction by demonstrating that the additional randomness injected into individual trees serves as a form of implicit regularization, making random forests an ideal model in low signal-to-noise ratio (SNR) settings. Specifically, from a model-complexity perspective, we show that the mtry parameter in random forests serves much the same purpose as the shrinkage penalty in explicitly regularized regression procedures like lasso and ridge regression. To highlight this point, we design a randomized linear-model-based forward selection procedure intended as an analogue to tree-based random forests and demonstrate its surprisingly strong empirical performance. Numerous demonstrations on both real and synthetic data are provided.

研究の動機と目的

• random forestsがInterpolationや分散削減だけといった伝統的な説明を超えてよく機能する理由を説明する。
• mtryパラメータがランダムフォレストのモデル複雑さ（自由度）に与える影響を定量化する。
• 低い信号対雑音比（SNR）の文脈でランダム性がより大きな利益をもたらすことを示す。
• 線形モデルにおけるランダム化前方選択が森林で観察される正則化効果を鏡像として示す。

提案手法

• データリサンプリングと特徴量サブサンプリング（mtry）という明示的なランダム性成分を含むランダムフォレストを定式化する。
• 推定量の自由度を df(f̂) = (1/σ^2) Σ Cov(ŷ_i, y_i) によって定義する。
• 最大ノード数とmtryの異なる場合でフォレストの自由度を推定し、モンテカルロ試行を用いる。
• ランダムフォレストをバッグ法と、線形モデルのランダム化前方選択類推と比較する。
• 合成データ（線形およびMARS風）と実データに触発した実験を用いて、SNRの異なる状況での性能を評価する。
• 文脈として、補間と正則化に関する先行研究を参照/補間する。

実験結果

リサーチクエスチョン

• RQ1 mtryパラメータはランダムフォレストの自由度にどのように影響するか？
• RQ2 どのSNR領域で、ランダムフォレストはバッグ法のような非ランダム化アプローチに対して最も予測力を提供するか？
• RQ3 線形モデルのランダム化前方選択手法は、ランダムフォレストと同様の正則化効果を示すか？
• RQ4 低SNR設定での主な改善は分散削減、バイアス削減、またはその組み合わせによるものか？

主な発見

• maxnodesを大きくするとフォレストの自由度が増加し、dofは凹型に増加する。
• 固定されたmaxnodesに対して、より高いmtryはより低いmtryより自由度が高くなる。
• ランダムフォレストはバッグ法より低SNR環境で顕著に優れており、高SNRでは利点が小さくなる。
• 最適なmtryはSNRと正の相関を持ち、ランダム性による正則化効果を示唆する。
• 線形モデルのランダム化前方選択の類似は、ノイズが多く次元が低い設定で同様の正則化利益を示す。
• ランダム性は暗黙の正則化として作用し、明示的な正則化手法の縮小ペナルティに似ている。