[论文解读] Mondrian Forests for Large-Scale Regression when Uncertainty Matters

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Jun 11, 2015

Gaussian Processes and Bayesian Inference参考文献 21被引用 14

一句话总结

该论文通过在分层高斯先验下将Mondrian过程框架扩展至回归任务，提出了Mondrian Forests，实现了大规模回归中的原理性不确定性估计。该方法在预测性能上达到最先进水平，且在分布外设置下，其不确定性校准优于随机森林和近似高斯过程。

ABSTRACT

Many real-world regression problems demand a measure of the uncertainty associated with each prediction. Standard decision forests deliver efficient state-of-the-art predictive performance, but high-quality uncertainty estimates are lacking. Gaussian processes (GPs) deliver uncertainty estimates, but scaling GPs to large-scale data sets comes at the cost of approximating the uncertainty estimates. We extend Mondrian forests, first proposed by Lakshminarayanan et al. (2014) for classification problems, to the large-scale non-parametric regression setting. Using a novel hierarchical Gaussian prior that dovetails with the Mondrian forest framework, we obtain principled uncertainty estimates, while still retaining the computational advantages of decision forests. Through a combination of illustrative examples, real-world large-scale datasets, and Bayesian optimization benchmarks, we demonstrate that Mondrian forests outperform approximate GPs on large-scale regression tasks and deliver better-calibrated uncertainty assessments than decision-forest-based methods.

研究动机与目标

• 解决标准决策森林在大规模回归任务中缺乏可靠不确定性估计的问题。
• 结合决策森林的计算效率与高斯过程的不确定性量化能力。
• 开发一种可扩展的非参数回归方法，在分布外推理时仍能保持不确定性校准。
• 在不确定性至关重要的贝叶斯优化与大规模回归任务中展示优越性能。

提出的方法

• 将原本用于分类的Mondrian Forests扩展至回归任务，采用叶节点参数的分层高斯先验。
• 使用高斯信念传播高效计算叶节点参数的后验分布，从而在分层先验下实现精确推理。
• 采用Mondrian过程作为随机化机制，确保当测试点远离训练数据时，预测值自然地向先验收缩，从而实现自然的不确定性校准。
• 在大规模数据集和贝叶斯优化基准上应用该方法，使用UCB获取函数，树数为10，min_samples_split = 2。
• 对非线性缩放的特征进行对数变换和特征缩放，以确保输入空间表示的一致性。
• 采用在线学习与可并行化的树构建方法，以在大规模数据集上保持计算效率。

实验结果

研究问题

• RQ1 在分布外预测场景下，Mondrian Forests 是否能提供比标准决策森林更校准的不确定性估计？
• RQ2 在大规模回归任务中，Mondrian Forests 在预测准确性和不确定性校准方面与近似高斯过程相比表现如何？
• RQ3 在贝叶斯优化中，Mondrian Forests 是否能优于或匹配决策森林，其中不确定性用于引导探索与利用的权衡？
• RQ4 Mondrian树中的分层高斯先验是否能在保持计算可扩展性的同时改善不确定性估计？

主要发现

• 在航班延误数据集上，Mondrian Forests 实现了最先进水平的RMSE，且其不确定性估计优于近期的可扩展高斯过程近似方法。
• 在贝叶斯优化基准中，Mondrian Forests 在Branin函数上以0.005以内的差距找到真实最大值，在Hartmann函数上以0.109以内的差距完成搜索，优于使用随机森林的SMAC。
• 在LDA与SVM超参数调优任务中，Mondrian Forests 在LDA-grid上完全匹配了最优性能，在SVM-grid上达到近似最优结果，而SMAC在Branin与Hartmann任务上均未能达到最优值。
• 由于Mondrian过程使预测值向先验收缩的特性，Mondrian Forests 的不确定性估计优于Breiman-RF与ERT，尤其在远离训练数据的区域表现更优。
• 该方法在大规模设置中展现出计算优势，特别适用于包含数千个观测值的贝叶斯优化与强化学习等应用。