[論文レビュー] Regression-Enhanced Random Forests

Haozhe Zhang, Dan Nettleton+1 more|arXiv (Cornell University)|Apr 23, 2019

Gaussian Processes and Bayesian Inference参考文献 19被引用数 12

ひとこと要約

この論文では、正則化されたパrametric回帰（Lasso）を統合することで予測性能を向上させるハイブリッド手法である回帰強化ランダムフォレスト（RERFs）を提案する。特に、訓練データの範囲外での外挿や、予測子と応答変数の間の既知の関係が存在する状況での性能向上に効果的である。シミュレーションおよび実世界のトウモロコシ収量予測において、RERFsは標準的なランダムフォレストを上回る性能を示し、特に訓練データの範囲外の予測において顕著な優位性を示した。

ABSTRACT

Random forest (RF) methodology is one of the most popular machine learning techniques for prediction problems. In this article, we discuss some cases where random forests may suffer and propose a novel generalized RF method, namely regression-enhanced random forests (RERFs), that can improve on RFs by borrowing the strength of penalized parametric regression. The algorithm for constructing RERFs and selecting its tuning parameters is described. Both simulation study and real data examples show that RERFs have better predictive performance than RFs in important situations often encountered in practice. Moreover, RERFs may incorporate known relationships between the response and the predictors, and may give reliable predictions in extrapolation problems where predictions are required at points out of the domain of the training dataset. Strategies analogous to those described here can be used to improve other machine learning methods via combination with penalized parametric regression techniques.

研究の動機と目的

• ランダムフォレストの外挿における限界および予測子と応答変数の間の既知の関係の無駆動的利用という課題に対処すること。
• 標準的なランダムフォレストが予測値の上限に縛られるため失敗する回帰問題における予測精度の向上。
• パラメトリックおよびノンパラメトリックの強みを統合する一般化されたランダムフォレストフレームワークの開発。
• 正則化回帰の強化を用いて、訓練データのドメインを超えた信頼性のある予測を可能にすること。
• ハイブリッドモデルにおける最適なハイパーパrameter選択のための調整可能で交差検証に基づく手法の提供。

提案手法

• RERFsはまず、訓練データに対してLasso回帰を適用し、予測子の主効果を応答変数に対してモデル化する。
• Lassoフィットからの残差を、その後の標準的なランダムフォレストの応答変数として使用する。
• 最終的な予測値は、Lassoの予測値と残差に対するランダムフォレストの予測値の和である。
• この手法は3つの調整パラメータを用いる：Lassoペナルティ（λ）、最小ノードサイズ、および各分割で試行する予測子の数（mtry）。
• 調整は交差検証を用い、計算コストを低減するための2段階近似手法を採用する。
• このアプローチは標準的なランダムフォレストを一般化しており、Lassoペナルティが十分に大きい場合にはそれらに還元される。

実験結果

リサーチクエスチョン

• RQ1 正則化されたパラメトリック回帰とランダムフォレストを組み合わせることで、回帰タスクにおける予測性能が向上するか？
• RQ2 標準的なランダムフォレストが失敗する外挿状況において、提案手法はどのように性能を発揮するか？
• RQ3 RERFsは、非線形性や単調性などの既知の関数的関係（予測子と応答変数の間）を効果的に組み込むことができるか？
• RQ4 RERFsにおける3つのハイパーパrameter（λ、nodesize、mtry）の最適な調整戦略は何か？
• RQ5 ハイブリッドアプローチは、長期的な収量増加などの複雑なトレンドを示す実世界のデータにおいて、頑健性を保ちつつ精度を向上させるか？

主な発見

• シミュレーション研究において、RERFsは訓練範囲外の予測において標準的なランダムフォレストを著しく上回った。特に、予測子の値が訓練範囲を超えた場合に顕著な優位性を示した。
• アイオワ州のトウモロコシ収量予測において、RERFsはLassoおよびランダムフォレストの両方を下回るRMSEを達成し、2015年の予測精度では標準的なランダムフォレスト比で10%の向上を示した。
• この手法は長期的な収量トレンドを的確に捉え、訓練データで観測された最大収量に制限される標準的なランダムフォレストの上限制約を回避した。
• RERFsは訓練データドメインを超えた信頼性のある予測を提供し、特に外挿予測において優れた性能を示した。
• 2段階の交差検証による調整手順により、計算コストを削減しながらも、網羅的探索に近い予測性能を維持した。
• 評価されたすべてのシナリオ（シミュレーション、コンクリート強度、トウモロコシ収量）において、RERFsは内挿および外挿の両方で標準的なランダムフォレストを一貫して上回った。