[論文レビュー] Mondrian Forests for Large-Scale Regression when Uncertainty Matters

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Jun 11, 2015

Gaussian Processes and Bayesian Inference参考文献 21被引用数 14

ひとこと要約

この論文は、階層的ガウス事前分布を用いてモンドライン過程フレームワークを回帰に拡張することで、大規模な回帰における原理的で信頼性の高い不確実性推定を可能にするモンドラインフォレストを提案する。この手法は、ランダムフォレストや近似ガウス過程と比較して、予測性能が最先端であり、特に分布外設定においてより良好にキャリブレーションされた不確実性を達成する。

ABSTRACT

Many real-world regression problems demand a measure of the uncertainty associated with each prediction. Standard decision forests deliver efficient state-of-the-art predictive performance, but high-quality uncertainty estimates are lacking. Gaussian processes (GPs) deliver uncertainty estimates, but scaling GPs to large-scale data sets comes at the cost of approximating the uncertainty estimates. We extend Mondrian forests, first proposed by Lakshminarayanan et al. (2014) for classification problems, to the large-scale non-parametric regression setting. Using a novel hierarchical Gaussian prior that dovetails with the Mondrian forest framework, we obtain principled uncertainty estimates, while still retaining the computational advantages of decision forests. Through a combination of illustrative examples, real-world large-scale datasets, and Bayesian optimization benchmarks, we demonstrate that Mondrian forests outperform approximate GPs on large-scale regression tasks and deliver better-calibrated uncertainty assessments than decision-forest-based methods.

研究の動機と目的

• 大規模な回帰において、標準的な意思決定フォレストが信頼性の高い不確実性推定を提供しないという問題に対処すること。
• 意思決定フォレストの計算効率とガウス過程の不確実性評価を組み合わせること。
• 訓練データを越えて外挿する場合でも不確実性のキャリブレーションを維持できる、スケーラブルな非パラメトリック回帰手法を開発すること。
• 不確実性が重要なベイズ最適化や大規模な回帰タスクにおいて、優れた性能を示すこと。

提案手法

• 分類に用いられるモンドラインフォレストを、リーフノードのパラメータに階層的ガウス事前分布を導入することで回帰に拡張する。
• ガウス信念伝播を用いて、階層的事前分布下での正確な事後分布を効率的に計算し、正確な推論を可能にする。
• モンドライン過程をランダム化メカニズムとして採用し、テストポイントが訓練データから離れるに従い予測値が事前分布に収束する性質を活かして、自然な不確実性キャリブレーションを実現する。
• 大規模データセットおよびベイズ最適化ベンチマークにこの手法を適用し、UCBの獲得関数を用い、10本の木と min_samples_split = 2 を設定する。
• 非線形にスケーリングされた特徴量に対して対数変換と特徴量スケーリングを実施し、一貫した入力空間表現を確保する。
• オンライン学習と並列可能な木の構築を用いて、大規模データセット上でも計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 モンドラインフォレストは、分布外予測シナリオにおいて、標準的な意思決定フォレストよりも良好にキャリブレーションされた不確実性推定を提供できるか？
• RQ2 大規模な回帰タスクにおいて、モンドラインフォレストの予測精度と不確実性キャリブレーションは、近似ガウス過程と比較してどうなるか？
• RQ3 ベイズ最適化において、不確実性が探索と活用を制御する文脈で、モンドラインフォレストは意思決定フォレストを上回るか、同等の性能を発揮できるか？
• RQ4 モンドラインツリー内に導入された階層的ガウス事前分布は、計算スケーラビリティを保ちながら不確実性推定を改善できるか？

主な発見

• フライト遅延データセットにおいて、モンドラインフォレストは最新のスケーラブルなGP近似手法よりも優れた不確実性推定を達成しながら、最先端のRMSEを達成した。
• ベイズ最適化ベンチマークにおいて、モンドラインフォレストはブレイン関数ではオラクルの0.005以内、ハーツマン関数では0.109以内の真の最大値を特定し、SMAC（ランダムフォレストを用いた）を上回った。
• LDAおよびSVMのハイパーパramータチューニングタスクにおいて、モンドラインフォレストはLDA-gridではオラクル性能を正確に再現し、SVM-gridではほぼ最適な結果を達成した。一方、SMACはブレインおよびハーツマン関数で最適値に到達できなかった。
• モンドラインフォレストの不確実性推定は、ブライマン-RF や ERT よりも良好にキャリブレーションされており、特に訓練データから離れた領域で顕著であった。これは、モンドライン過程が予測値を事前分布に収束させる性質に起因する。
• 特に数千件の観測値を扱うベイズ最適化や強化学習などの応用に適した、大規模な設定における計算的利点を示した。