[论文解读] A Numerical Transform of Random Forest Regressors corrects Systematically-Biased Predictions

Shipra Malhotra, John Karanicolas|arXiv (Cornell University)|Mar 16, 2020

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文识别出随机森林回归器中存在一种系统性偏差，该偏差在无噪声的现实世界和合成数据集上均会扭曲预测结果。作者提出一种基于训练数据的数值变换方法以纠正此偏差，显著提升了所有评估数据集上的预测准确率，展示了一种稳健、数据驱动的校正方法，可在不改变底层随机森林架构的前提下增强模型可靠性。

ABSTRACT

Over the past decade, random forest models have become widely used as a robust method for high-dimensional data regression tasks. In part, the popularity of these models arises from the fact that they require little hyperparameter tuning and are not very susceptible to overfitting. Random forest regression models are comprised of an ensemble of decision trees that independently predict the value of a (continuous) dependent variable; predictions from each of the trees are ultimately averaged to yield an overall predicted value from the forest. Using a suite of representative real-world datasets, we find a systematic bias in predictions from random forest models. We find that this bias is recapitulated in simple synthetic datasets, regardless of whether or not they include irreducible error (noise) in the data, but that models employing boosting do not exhibit this bias. Here we demonstrate the basis for this problem, and we use the training data to define a numerical transformation that fully corrects it. Application of this transformation yields improved predictions in every one of the real-world and synthetic datasets evaluated in our study.

研究动机与目标

• 调查随机森林回归模型在多样化数据集上是否存在系统性偏差及其性质。
• 确定该偏差是否在存在或不存在不可约噪声的合成数据集中依然存在。
• 识别随机森林预测中系统性偏差的根本原因，并将其与梯度提升等其他集成方法区分开来。
• 开发一种可推广的、基于数据的数值变换方法，仅使用训练数据即可纠正偏差。
• 在多个现实世界和合成回归任务中验证该变换的有效性。

提出的方法

• 作者分析了随机森林回归器在多个现实世界和合成数据集上的预测误差，以检测系统性偏差模式。
• 基于训练数据的累积分布函数与预测值，推导出一种数值变换以纠正偏差。
• 该变换在训练过程中通过分位数校准将预测值映射到校正后的尺度来学习。
• 该方法无需重新训练或修改模型架构，仅通过训练数据分布对预测结果进行事后校正。
• 该变换在所有数据点上统一应用，确保在整个预测范围内实现一致的校正。
• 通过在多样化回归任务中将校正后的预测与真实值进行比较，对方法进行了验证。

实验结果

研究问题

• RQ1 随机森林回归在现实世界和合成数据集中是否表现出系统性偏差，即使在不存在不可约噪声的情况下？
• RQ2 与梯度提升模型相比，随机森林中的偏差有何不同，后者未表现出相同偏差？
• RQ3 随机森林回归器中系统性预测偏差的根本原因是什么？
• RQ4 是否可以使用基于数据的、事后处理的数值变换有效纠正此偏差，而无需重新训练或修改模型？
• RQ5 所提出的变换在多样化回归任务中能将预测准确率提升到何种程度？

主要发现

• 在所有测试的真实世界和合成数据集中，随机森林回归器始终产生系统性偏差的预测结果，且不受噪声水平影响。
• 梯度提升模型中不存在该偏差，表明该偏差是随机森林集成机制特有的。
• 所提出的数值变换可完全纠正偏差，显著提升所有评估数据集上的预测准确率。
• 该校正方法在具有复杂特征交互作用的高维回归任务中同样有效。
• 该变换具有可推广性，无需重新训练模型或调整超参数。
• 该方法在多种数据类型中均实现了稳定的性能提升，包括生物、环境和工程数据集。