[论文解读] A Unified Framework for Random Forest Prediction Error Estimation

Benjamin Lu, Johanna Hardin|arXiv (Cornell University)|Dec 16, 2019

Probabilistic and Robust Engineering Design参考文献 30被引用 11

一句话总结

本文提出了一种统一框架，通过一种新型条件预测误差分布函数估计器，实现对随机森林中预测误差分布的估计。该框架支持对关键不确定性度量（如条件均方误差、偏差和预测区间）的即插即用式估计，展现出出色的实证性能，尤其在预测区间构建方面表现优异，并为改进后的估计器提供了理论一致性证明。

ABSTRACT

We introduce a unified framework for random forest prediction error estimation based on a novel estimator of the conditional prediction error distribution function. Our framework enables simple plug-in estimation of key prediction uncertainty metrics, including conditional mean squared prediction errors, conditional biases, and conditional quantiles, for random forests and many variants. Our approach is especially well-adapted for prediction interval estimation; we show via simulations that our proposed prediction intervals are competitive with, and in some settings outperform, existing methods. To establish theoretical grounding for our framework, we prove pointwise uniform consistency of a more stringent version of our estimator of the conditional prediction error distribution function. The estimators introduced here are implemented in the R package forestError.

研究动机与目标

• 开发一个单一、连贯的框架，用于估计随机森林中的预测不确定性，以解决现有方法的碎片化问题。
• 通过共享的条件误差分布估计器，实现对条件均方误差、偏差和分位数的准确即插即用式估计。
• 与现有方法相比，提升预测区间的覆盖概率和区间宽度，尤其在复杂或异质性数据设置下表现更优。
• 通过一致性的统一证明，为所提出的误差分布估计器的改进版本提供理论依据。
• 确保与各种随机森林变体（包括广义随机森林和局部加权森林）的广泛兼容性。

提出的方法

• 提出一种新的条件预测误差分布函数 $ F_E(e \mid x) $ 的估计器，用于建模给定协变量下误差的累积分布。
• 利用袋外预测和均匀顺序统计量，基于概率积分变换构建非参数、经验式的 $ F_E(e \mid x) $ 估计，实现无分布假设的估计。
• 基于邻近权重 $ v_i(x) $ 的加权平均方案，对新协变量点 $ x $ 处的误差分布进行估计，确保局部平滑性。
• 通过在估计的 $ F_E(e \mid x) $ 上进行积分，推导出条件 MSPE、偏差和分位数的即插即用估计器，实现直接的不确定性量化。
• 提出一种更严格的估计器，增强稳定性，并在温和的正则性条件下证明其逐点一致性的统一一致性。
• 采用两步法：首先估计误差分布，然后利用该分布通过标准泛函计算不确定性度量。

实验结果

研究问题

• RQ1 一个单一、统一的条件预测误差分布估计器是否能提升随机森林中关键不确定性度量的估计性能？
• RQ2 与现有方法相比，所提出的框架在预测区间覆盖概率和区间宽度方面表现如何？
• RQ3 所提出的估计器在关于数据和树生长过程的现实假设下是否保持理论一致性？
• RQ4 该框架在不同随机森林变体（如广义随机森林或局部线性森林）中的泛化能力如何？
• RQ5 该框架能否在无需为每个度量单独设计算法的情况下，有效估计条件偏差和分位数？

主要发现

• 所提出的预测区间在覆盖概率和区间宽度方面与现有方法相当，且在某些模拟设置下表现更优。
• 条件均方误差和偏差的即插即用估计器在多种模拟场景中展现出强大的实证性能，其均方误差低于其他替代方法。
• 理论分析在温和正则性条件下建立了改进版本误差分布估计器的逐点一致性的统一一致性。
• 该框架对多种数据生成机制具有鲁棒性，在底层回归函数复杂或异质性较强时仍能保持良好性能。
• 该方法与多种随机森林变体（包括广义随机森林和局部线性森林）兼容，显著提升了实际应用价值。
• 实证结果证实，统一框架相比为每个不确定性度量分别采用的临时方法，显著降低了计算开销并提高了估计精度。