[論文レビュー] Optimal Weighted Random Forests

Xinyu Chen, Dalei Yu+1 more|arXiv (Cornell University)|May 17, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、回帰タスクにおける2つの最適重み付け戦略—1ステップおよび2ステップ最適重み付きランダムフォレスト—を提案する。Mallows型基準を用いて、各木の予測性能に基づき適応的重みを割り当てることで、二乗誤差リスクを最小化し、漸近的最適性を達成する。実世界のデータセットにおいて、等重み付けRFおよび既存の重み付きRFよりも優れた性能を示す。

ABSTRACT

The random forest (RF) algorithm has become a very popular prediction method for its great flexibility and promising accuracy. In RF, it is conventional to put equal weights on all the base learners (trees) to aggregate their predictions. However, the predictive performances of different trees within the forest can be very different due to the randomization of the embedded bootstrap sampling and feature selection. In this paper, we focus on RF for regression and propose two optimal weighting algorithms, namely the 1 Step Optimal Weighted RF (1step-WRF$_\mathrm{opt}$) and 2 Steps Optimal Weighted RF (2steps-WRF$_\mathrm{opt}$), that combine the base learners through the weights determined by weight choice criteria. Under some regularity conditions, we show that these algorithms are asymptotically optimal in the sense that the resulting squared loss and risk are asymptotically identical to those of the infeasible but best possible model averaging estimator. Numerical studies conducted on real-world data sets indicate that these algorithms outperform the equal-weight forest and two other weighted RFs proposed in existing literature in most cases.

研究の動機と目的

• 等重み付けランダムフォレストの性能が不十分であるのを是正するため、各木の予測力に基づき適応的重みを割り当てる。
• 二乗誤差リスクを最小化するという理論的根拠に基づく重み付け戦略を開発し、回帰において漸近的最適性を達成する。
• 2段階最適化フレームワークを用いることで、計算コストを低減しながら最適性能を維持する。
• 一般機械学習分野におけるモデル平均化の原則を、特に回帰タスクにおけるランダムフォレストに拡張する。
• 理論的裏付けがあり、計算効率の良い、既存の重み付きRF手法の代替案を提供する。

提案手法

• Mallows型基準を用いて予測誤差を最小化するように、基本学習器（木）に重みを割り当てる2つのアルゴリズム、1step-WRF opt および 2steps-WRF opt を提案する。
• 2次計画法フレームワークを用いて最適重みを決定し、得られる推定量が実現不可能な最良のモデル平均化推定量と漸近的に同等になることを保証する。
• 計算負荷を軽減するため、最適化を2つの2次計画問題に限定する2段階アルゴリズムを導入し、スケーラビリティを向上させる。
• 条件付き期待値と正則性条件（C.1–C.4）を用いて、異分散誤差構造下での理論的性質を確立する。
• 繰り返し期待値の法則、取り出し則、Lebesgue支配収束定理を用いて、漸近的最適性を証明する。
• 重み付き推定量とオラクルモデルの間のリスク比の理論的境界を導出し、確率的に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストにおける個々の木に対する適応的重み付けは、等重み付けと比較して回帰性能の向上をもたらすか？
• RQ2 理論的に最適な重み付けスキームを構築することは可能か？ その場合、最良の可能なモデル平均化推定量の性能に漸近的に一致するか？
• RQ3 計算複雑性を低減しながら、重み付きランダムフォレスト推定量における理論的最適性を維持するにはどうすればよいか？
• RQ4 提案された重み付け戦略は、実世界の回帰データセットにおいて、既存の重み付きRF手法よりも予測精度が優れているか？
• RQ5 異分散誤差下で、重み付きランダムフォレスト推定量の漸近的最適性を保証する理論的条件は何か？

主な発見

• 提案された 1step-WRF opt および 2steps-WRF opt の手法は、漸近的最適性を達成しており、リスクが実現不可能な最良のモデル平均化推定量のリスクに収束することを意味する。
• 2steps-WRF opt アルゴリズムは、2つの2次計画最適化タスクのみを必要とするため、計算コストを低減し、大規模なフォレストに対してもスケーラブルである。
• UCIデータセット12件における数値実験の結果、両手法とも、等重み付けランダムフォレストおよび2つの既存の重み付きRF手法よりも大多数のケースで優れた性能を示した。
• 理論的分析により、正則性条件（異分散性を含む）の下で、重み付き推定量のリスクが有界であり、最適リスクに確率的に収束することが確認された。
• モデルの誤指定に対してもロバストであり、個々の木の予測精度に大きなばらつきがあっても、強力な性能を維持した。
• 重み選択にMallows型基準を用いることで、ベースライン手法と比較して平均二乗誤差が顕著に低減された。