[论文解读] A Characterization of Mean Squared Error for Estimator with Bagging

Martin Mihelich, Charles Dognin+2 more|arXiv (Cornell University)|Aug 7, 2019

Statistical Methods and Inference参考文献 17被引用 6

一句话总结

本文对集成学习中自助采样法（bagging）对统计估计器均方误差（MSE）的影响进行了严格的理论分析，证明MSE随集成估计器数量$N$线性减少。文章推导出无偏样本方差估计器在bagging下的精确MSE表达式，表明仅当分布的峰度超过$\frac{3}{2}$时，bagging才能降低MSE，从而提出一种基于峰度感知的新方差估计算法。

ABSTRACT

Bagging can significantly improve the generalization performance of unstable machine learning algorithms such as trees or neural networks. Though bagging is now widely used in practice and many empirical studies have explored its behavior, we still know little about the theoretical properties of bagged predictions. In this paper, we theoretically investigate how the bagging method can reduce the Mean Squared Error (MSE) when applied on a statistical estimator. First, we prove that for any estimator, increasing the number of bagged estimators $N$ in the average can only reduce the MSE. This intuitive result, observed empirically and discussed in the literature, has not yet been rigorously proved. Second, we focus on the standard estimator of variance called unbiased sample variance and we develop an exact analytical expression of the MSE for this estimator with bagging. This allows us to rigorously discuss the number of iterations $N$ and the batch size $m$ of the bagging method. From this expression, we state that only if the kurtosis of the distribution is greater than $\frac{3}{2}$, the MSE of the variance estimator can be reduced with bagging. This result is important because it demonstrates that for distribution with low kurtosis, bagging can only deteriorate the performance of a statistical prediction. Finally, we propose a novel general-purpose algorithm to estimate with high precision the variance of a sample.

研究动机与目标

• 严格证明增加集成估计器数量$N$始终能降低MSE，且方差随$\frac{1}{N}$减小。
• 推导无偏样本方差估计器在bagging下的精确MSE表达式。
• 建立基于峰度的精确理论条件，说明在何种分布条件下bagging能改善方差估计器的MSE。
• 基于推导出的峰度条件，提出一种新颖的通用高精度方差估计算法。
• 为bagging应用中$N$和批次大小$m$的选择提供理论指导。

提出的方法

• 构建对称的数学框架，用于解析计算任意bagged估计器的偏差与方差。
• 将该框架应用于无偏样本方差估计器，推导出涉及分布四阶矩与二阶矩的精确MSE表达式。
• 利用推导出的MSE表达式，识别出在峰度$\kappa > \frac{3}{2}$时MSE可被bagging降低的条件，其中$\kappa$为峰度。
• 提出一种新方差估计算法，利用峰度阈值以提升估计精度。
• 通过多种分布的蒙特卡洛模拟，验证理论预测的MSE降低效果及对峰度的依赖性。
• 采用非线性拟合方法，确认经验实验中MSE的收敛速率为$O(\frac{1}{N})$。

实验结果

研究问题

• RQ1 增加集成估计器数量$N$是否总是能降低统计估计器的MSE？
• RQ2 能否为无偏样本方差估计器在bagging下的MSE推导出精确的解析表达式？
• RQ3 在何种分布条件下，bagging能降低方差估计器的MSE？
• RQ4 底层分布的峰度如何影响bagging在方差估计中的有效性？
• RQ5 能否基于推导出的理论条件设计一种更精确的新方差估计算法？

主要发现

• 任何bagged估计器的偏差与$N$无关，而其方差随$\frac{1}{N}$线性减小，从而导致MSE相应线性降低。
• 对于无偏样本方差估计器，bagging仅当分布的峰度$\kappa$超过$\frac{3}{2}$时才能降低MSE。
• 当$\kappa \leq \frac{3}{2}$时，bagging反而增加MSE，意味着在低峰度分布中会降低性能。
• 实验结果确认了不稳定预测器（如决策树）的MSE收敛速率为$O(\frac{1}{N})$，而稳定预测器（如线性回归）则无改善。
• 对正态分布、均匀分布和Rademacher分布的实验验证了bagged与非bagged估计器之间理论MSE差异，其符号与大小与预测值$-2\mu_4 + 3\mu_2^2$一致。
• 通过可调峰度的自定义分布实验，确认只有当$\kappa > \frac{3}{2}$时，bagging才能带来MSE改进，且结果在100,000次试验中保持稳定。