[論文レビュー] Random Forests for dependent data

Arkajyoti Saha, Sumanta Basu+1 more|arXiv (Cornell University)|Jul 30, 2020

Advanced Statistical Methods and Models参考文献 71被引用数 6

ひとこと要約

本稿では、空間的依存性を考慮するための一般化最小二乗法（GLS）を組み込んだ、ランダムフォレストの新規拡張版であるRF-GLSを提案する。この手法は、地理空間データにおける空間的相関をモデル化することで、標準的なランダムフォレストに比べて推定および予測性能を著しく向上させる。ガウス過程を用いて空間相関をモデル化し、RFの損失関数をGLSに適合させることで、β-混合依存性のもとで一貫性を達成し、シミュレーションにおいて既存手法を上回る性能を示す。本研究は、依存データの下でのランダムフォレストに対する理論的一貫性に関する最初の結果を確立する。

ABSTRACT

Random forest (RF) is one of the most popular methods for estimating regression functions. The local nature of the RF algorithm, based on intra-node means and variances, is ideal when errors are i.i.d. For dependent error processes like time series and spatial settings where data in all the nodes will be correlated, operating locally ignores this dependence. Also, RF will involve resampling of correlated data, violating the principles of bootstrap. Theoretically, consistency of RF has been established for i.i.d. errors, but little is known about the case of dependent errors. We propose RF-GLS, a novel extension of RF for dependent error processes in the same way Generalized Least Squares (GLS) fundamentally extends Ordinary Least Squares (OLS) for linear models under dependence. The key to this extension is the equivalent representation of the local decision-making in a regression tree as a global OLS optimization which is then replaced with a GLS loss to create a GLS-style regression tree. This also synergistically addresses the resampling issue, as the use of GLS loss amounts to resampling uncorrelated contrasts (pre-whitened data) instead of the correlated data. For spatial settings, RF-GLS can be used in conjunction with Gaussian Process correlated errors to generate kriging predictions at new locations. RF becomes a special case of RF-GLS with an identity working covariance matrix. We establish consistency of RF-GLS under beta- (absolutely regular) mixing error processes and show that this general result subsumes important cases like autoregressive time series and spatial Matern Gaussian Processes. As a byproduct, we also establish consistency of RF for beta-mixing processes, which to our knowledge, is the first such result for RF under dependence. We empirically demonstrate the improvement achieved by RF-GLS over RF for both estimation and prediction under dependence.

研究の動機と目的

• 空間的相関が無視されるために標準的なランダムフォレストが地理空間データで性能を発揮できない問題に対処すること。
• ガウス過程とGLSを用いて空間的依存性を明示的にモデル化する、原理的かつ整合的なランダムフォレストの拡張を開発すること。
• β-混合依存性のもとで提案手法の理論的一貫性を確立し、特に依存データ下でのランダムフォレストに対する最初の一貫性結果を提示すること。
• 共変数効果と空間的ランダム効果を分離するフレームワークを提供し、非線形共変数関数に関する妥当な推論を可能にすること。
• 空間データを超えて、時系列データなどの他の依存データタイプにもこのアプローチを一般化すること。

提案手法

• ノード分割基準を通常最小二乗法（OLS）ではなく一般化最小二乗法（GLS）に置き換えた、ランダムフォレストの一般化版としてRF-GLSを提案し、空間相関を考慮する。
• 空間的依存性をマトérn共分散関数を用いたガウス過程（GP）でモデル化し、空間構造を損失関数に組み込む。
• 回帰関数に対してデータ駆動型の非パラメトリック関数クラスを用い、データに適応する木ベースの基底関数を採用する。
• アンサンブルの木に対してGLS風の最適化を適用し、最終的な推定値が誤差の共分散構造を反映するようにする。
• β-混合依存性のもとで一様大数の法則を用いて理論的一貫性を確立する。
• データ駆動型関数クラスにおけるGLS最適化器の一般的一致性結果を導出する。この結果はRF-GLSを越えて適用可能である。

実験結果

リサーチクエスチョン

• RQ1 空間的相関が無視された場合、標準的なランダムフォレストが地理空間データでどのように性能に影響を受けるか？
• RQ2 ランダムフォレストを体系的に拡張して空間的依存データを扱えるようにしつつ、理論的一貫性を保てるか？
• RQ3 提案されたRF-GLS手法は、RF-RK や RFsp といった既存手法に比べて推定および予測精度で優れているか？
• RQ4 特にβ-混合過程において、依存データ下でのランダムフォレストに理論的基盤が存在するか？
• RQ5 GLSフレームワークは、空間過程を超えて他の種類の依存データ（例：時系列）に対しても一般化可能か？

主な発見

• RF-GLSは、空間相関のあるデータを含む複数のシミュレーション設定において、標準的なランダムフォレストに比べて推定および予測性能で顕著に優れている。
• β-混合依存誤差プロセスにおいて一貫性を達成し、特に人気のあるマトérnガウス過程に対しても同様に成立する。これは、依存データ下でのランダムフォレストに対する理論的一貫性に関する最初の結果を確立する。
• 実証的結果から、RF-GLSは空間相関が強い場合でも優れた性能を維持する一方、標準的なRFはこのような条件下で性能が著しく低下することが示された。
• β-混合依存性のもとでの一様大数の法則は、依存データにおける非パラメトリック回帰のGLS風推定器の分析に新たな理論的ツールを提供する。
• RF-GLSは、時系列データなどの他の依存データタイプへも拡張可能であり、空間データを超えた広範な適用可能性を示している。
• 本手法は、非線形共変数効果 $ m(\mathbf{x}) $ と空間的ランダム効果を効果的に分離でき、混合モデルフレームワークにおける妥当な推論を可能にする。