[論文レビュー] A Unified Framework for Random Forest Prediction Error Estimation

Benjamin Lu, Johanna Hardin|arXiv (Cornell University)|Dec 16, 2019

Probabilistic and Robust Engineering Design参考文献 30被引用数 11

ひとこと要約

本論文は、条件付き予測誤差分布関数の新しい推定法を用いて、ランダムフォレストにおける予測誤差分布の推定を統合的フレームワークで行う手法を提案する。これにより、条件付き平均二乗誤差、バイアス、予測区間といった重要な不確実性指標のプラグイン推定が可能となり、特に予測区間構築において優れた経験的性能を示し、洗練された推定法について理論的一貫性が証明されている。

ABSTRACT

We introduce a unified framework for random forest prediction error estimation based on a novel estimator of the conditional prediction error distribution function. Our framework enables simple plug-in estimation of key prediction uncertainty metrics, including conditional mean squared prediction errors, conditional biases, and conditional quantiles, for random forests and many variants. Our approach is especially well-adapted for prediction interval estimation; we show via simulations that our proposed prediction intervals are competitive with, and in some settings outperform, existing methods. To establish theoretical grounding for our framework, we prove pointwise uniform consistency of a more stringent version of our estimator of the conditional prediction error distribution function. The estimators introduced here are implemented in the R package forestError.

研究の動機と目的

• 既存の手法における断片化を解消し、ランダムフォレストにおける予測不確実性推定のための単一で整合的なフレームワークの構築を目的とする。
• 共通の条件付き誤差分布の推定法を用いて、条件付き平均二乗誤差、バイアス、分位数の正確なプラグイン推定を可能にする。
• 特に複雑または不均一なデータ設定において、従来の手法と比較して予測区間のカバレッジと幅を改善することを目的とする。
• 洗練された誤差分布推定法の点ごとの一様一貫性を、弱い正則性条件のもとで証明することで理論的裏付けを提供すること。
• 一般化されたおよび局所加重付きフォレストを含む、さまざまなランダムフォレストの変種と広く互換性を持つこと。

提案手法

• 説明変数の条件下での誤差の累積分布をモデル化する、条件付き予測誤差分布関数 $ F_E(e \mid x) $ の新しい推定法を提案する。
• アウトオブバッグ予測と一様順序統計量を用いて、確率積分変換を活用し、非パラメトリックかつ経験的推定として $ F_E(e \mid x) $ を構築する。
• 近接度重み $ v_i(x) $ を用いた重み付き平均化スキームにより、新しい説明変数点 $ x $ における誤差分布を局所平滑化して推定する。
• 推定された $ F_E(e \mid x) $ に対して統合を施すことで、条件付きMSPE、バイアス、分位数のプラグイン推定法を導出する。これにより、直接的な不確実性の定量化が可能になる。
• 安定性が向上したより厳密な推定法を導入し、弱い正則性条件のもとでその点ごとの一様一貫性を証明する。
• 2段階アプローチを採用する：まず誤差分布を推定し、その後、標準的な関数型を用いてその推定値から不確実性指標を計算する。

実験結果

リサーチクエスチョン

• RQ1 条件付き予測誤差分布の単一で統合的な推定法は、ランダムフォレストにおける主要な不確実性指標の推定を改善できるか？
• RQ2 提案フレームワークは、従来の手法と比較して予測区間のカバレッジと幅においてどのように異なるか？
• RQ3 提案された推定法は、データおよび木の構築プロセスに関する現実的な仮定のもとで理論的一致性を保つのか？
• RQ4 一般化されたフォレストや局所加重フォレストを含む、さまざまなランダムフォレストの変種にどの程度一般化可能か？
• RQ5 別個のアルゴリズムを各指標ごとに必要とせずに、条件付きバイアスと分位数を効果的に推定できるか？

主な発見

• 提案された予測区間は、カバレッジ確率と区間幅の両面で、既存の手法と同等以上であり、一部のシミュレーション設定ではそれを上回る性能を示した。
• 条件付き平均二乗誤差およびバイアスのプラグイン推定法は、多数のシミュレーション状況において、代替手法と比較して低い平均二乗誤差を示し、優れた経験的性能を発揮した。
• 理論的分析により、弱い正則性条件のもとで、誤差分布推定法の洗練されたバージョンの点ごとの一様一貫性が確立された。
• フレームワークは多様なデータ生成メカニズムに対して頑健であり、基礎となる回帰関数が複雑または不均一であっても良好な性能を維持した。
• 一般化されたランダムフォレストや局所線形フォレストを含む、さまざまなランダムフォレストの変種と互換性があり、実用的利便性を高めた。
• 経験的結果から、統合的フレームワークは、各不確実性指標ごとに別個のアドホック手法を用いる場合と比較して、計算コストの低減と推定精度の向上が図れることが確認された。