[論文レビュー] Trees-Based Models for Correlated Data

Assaf Rabinowicz, Saharon Rosset|arXiv (Cornell University)|Feb 16, 2021

Gaussian Processes and Bayesian Inference参考文献 33被引用数 4

ひとこと要約

本稿では、クラスタリング、縦断的、空間的データなどの相関構造を明示的に組み込む回帰木、ランダムフォレスト、勾配ブースティングのための新しい木ベースのモデルであるRETCO（Regression Tree for Correlated Data）を紹介する。線形混合モデルとガウス過程を用いて相関を考慮した分割基準、停止ルール、リーフ予測を修正することで、シミュレーションおよび多様な分野の実データを用いた検証において、標準的手法に比べて予測精度が顕著に向上する。

ABSTRACT

This paper presents a new approach for trees-based regression, such as simple regression tree, random forest and gradient boosting, in settings involving correlated data. We show the problems that arise when implementing standard trees-based regression models, which ignore the correlation structure. Our new approach explicitly takes the correlation structure into account in the splitting criterion, stopping rules and fitted values in the leaves, which induces some major modifications of standard methodology. The superiority of our new approach over trees-based models that do not account for the correlation is supported by simulation experiments and real data analyses.

研究の動機と目的

• 標準的な木ベースのモデルが相関のあるデータを扱えないという限界に対処し、予測が偏り、誤差推定が不正確になるのを防ぐ。
• ランダム効果とランダムフィールドを木ベースのモデルに統合する包括的なフレームワークを構築し、予測性能を向上させるとともに統計的推論を可能にする。
• 相関構造が存在する状況でも偏りのない汎化誤差推定が得られるように、モデルの評価と選択手法を相関データに適合させる。
• シミュレーションおよび実世界の設定において、標準的な木ベースのモデルおよび既存の代替手法に比べて提案手法が優れていることを示す。

提案手法

• 既知の相関構造を明示的に考慮するように、分割基準、停止ルール、およびリーフの予測値を修正するRETCOという新アルゴリズムを提案。
• 固定効果とランダム効果を用いた条件付き平均のモデル化により、線形混合モデル（LMM）とガウス過程回帰を木ベースのフレームワークに統合。
• 相関のあるデータにおける一般化誤差を偏りなく推定できるように、交差検証損失関数（CV_c）を修正し、モデル選択において標準的なCVに代わる。
• 特に空間的または時系列的設定において、観測間の依存関係をモデル化するために、カーネルベースの共分散関数（例：指数関数型）を用いる。
• 相関を考慮した損失関数を最小化するように再帰的分割戦略を採用し、予測が下位の依存構造を反映するように保証。
• 複数の木にわたって相関に配慮した分割および予測ルールを適用することで、ランダムフォレストや勾配ブースティングなどのアンサンブル手法をサポート。

実験結果

リサーチクエスチョン

• RQ1 標準的な木ベースのモデルが相関を無視した場合、相関のあるデータにおける予測精度と誤差推定にどのような影響を与えるか？
• RQ2 相関構造を明示的に組み込んだ修正された木ベースのモデルは、標準的な回帰木、ランダムフォレスト、勾配ブースティングに比べ、予測誤差の観点で優れているか？
• RQ3 相関のあるデータに対して、モデル選択と誤差推定をどのように修正すれば、交差検証における楽観的バイアスを回避できるか？
• RQ4 実世界の相関データセットに適用した場合、RETCOはRE-EMや標準的なRFといった既存手法に比べてどの程度の性能向上を達成するか？

主な発見

• RETCOは、すべてのシミュレーションおよび実世界の相関データを含む状況において、標準的な木ベースのモデルに比べて予測誤差を顕著に低減した。
• ランダム効果の分散（σ²_b）の異なるレベルを想定したシミュレーションにおいて、RETCOは標準モデルを常に上回り、高相関設定では最大30％の誤差低減を達成した。
• 修正済み交差検証損失（CV_c）は偏りのない一般化誤差推定を提供したが、標準的なCVは相関のあるデータでは誤差を低く見積もっており、過学習を引き起こしていた。
• 実データ解析において、FIFA選手価値、米国の犯罪率、韓国の気温予測、カリフォルニアの住宅価格、パーキンソン病の遠隔モニタリング、賃金データの5つの多様なデータセットにおいて、RETCOは標準的なRFよりも低い予測誤差を達成した。
• RE-EM手法よりもRETCOは両方のシナリオ（b*⊥b および b*=b）で優れており、相関構造が強い場合により大きな性能向上が見られた。
• クラスタリング（FIFA、犯罪）、空間的（韓国気温）、縦断的（パーキンソン病、賃金）の異なるデータタイプにおいて、RETCOは安定した性能を維持した。これは、広範な適用可能性を示している。