[论文解读] RRMSE Voting Regressor: A weighting function based improvement to ensemble regression

Shikun Chen, Nguyen Manh Luc|arXiv (Cornell University)|Jul 11, 2022

Face and Expression Recognition被引用 16

一句话总结

本文提出了一种新型集成回归方法——RRMSE投票回归器（RRMSE Voting Regressor），通过基于相对均方根误差（RRMSE）为基学习器分配权重，提升预测精度，优先选择误差更低的模型。实验表明，该方法在六个基准数据集上显著优于基线集成方法（如Bagging回归（BR）和动态加权回归（DWR）），其性能优于或与当前最先进方法——带不确定性的投票回归（VRU）相当。

ABSTRACT

This paper describes the RRMSE (Relative Root Mean Square Error) based weights to weight the occurrences of predictive values before averaging for the ensemble voting regression. The core idea behind ensemble regression is to combine several base regression models in order to improve the prediction performance in learning problems with a numeric continuous target variable. The default weights setting for the ensemble voting regression is uniform weights, and without domain knowledge of learning task, assigning weights for predictions are impossible, which makes it very difficult to improve the predictions. This work attempts to improve the prediction of voting regression by implementing the RRMSE based weighting function. Experiments show that RRMSE voting regressor produces significantly better predictions than other state-of-the-art ensemble regression algorithms on six popular regression learning datasets.

研究动机与目标

• 为解决集成投票回归中统一加权的局限性，即缺乏先验知识以合理分配基模型权重。
• 通过引入基于误差的数据驱动权重函数，优先选择预测误差更低的模型，从而提升集成回归性能。
• 评估基于RRMSE的权重分配是否在统计上显著优于现有集成回归技术。
• 探索RRMSE在异质集成学习中作为模型选择与加权的可靠度量的潜力。

提出的方法

• 提出一种新型集成回归框架，使用RRMSE（相对均方根误差）作为度量，计算基学习器的实例特定权重。
• 采用反比函数为RRMSE值较低的基模型分配更高权重：$ w_i = \frac{1}{\text{RRMSE}_i} $，并在所有模型间进行归一化处理。
• 应用加权平均公式：$ \hat{f}_{\text{RRMSE}}(x) = \sum_{i=1}^{k} w_i(x) \cdot \hat{f}_i(x) $，其中权重基于验证数据上的RRMSE值计算得出。
• 采用异质集成设置，结合多种不同的基学习器（如随机森林、梯度提升、SVM）在完整数据集上进行训练。
• 使用统计显著性检验（Friedman对齐秩检验及事后分析）比较各方法的性能表现。
• 在六个标准回归数据集上验证该方法，采用标准指标：MAE、MSE、RMSE和$ R^2 $。

实验结果

研究问题

• RQ1 基于RRMSE的加权是否能提升集成回归性能，相较于统一或恒定加权策略？
• RQ2 RRMSE投票回归器与当前最先进集成方法（如Bagging回归（BR）、动态加权回归（DWR）和带不确定性的投票回归（VRU））相比表现如何？
• RQ3 RRMSE投票回归器在多个基准数据集上的性能提升是否具有统计显著性？
• RQ4 基于RRMSE的加权函数是否相比传统集成融合策略，能带来更稳健和准确的预测？

主要发现

• RRMSE投票回归器在全部六个数据集上均取得最佳平均排名，在所有指标上均优于BR和DWR。
• 统计检验结果确认，RRMSE投票回归器在MAE、MSE、RMSE和$ R^2 $上显著优于BR和DWR，所有指标的p值均小于0.01。
• 在Abalone数据集上，RRMSE投票回归器实现了最低的MAE（1.5102）、MSE（4.7140）、RMSE（2.1712）和最高的$ R^2 $（0.5645），排名第一。
• 在Smart Grid Stability数据集上，其MAE（0.0075）和MSE（0.000095）最低，$ R^2 $为0.9287，显著优于DWR（MAE：0.0174）。
• 与VRU相比，该方法表现出微小但一致的改进，平均排名更高（1.0 vs VRU的2.25），且在任一指标上均无显著更差表现。
• 事后检验确认，RRMSE投票回归器在MAE、MSE和RMSE上6选6胜出，在$ R^2 $上5选6胜出，表明其具有强大且一致的优越性。