[论文解读] A Sharp Bound on the Computation-Accuracy Tradeoff for Majority Voting Ensembles

Miles E. Lopes|arXiv (Cornell University)|Mar 4, 2013

Machine Learning and Algorithms被引用 4

一句话总结

本文建立了二分类中多数投票集成算法方差的精确非渐近界，表明类别误差方差随 $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$ 衰减，其中 $f_l$ 是由集成方法导出的密度函数。该界使得仅通过一个集成即可实现方差估计，作者提出了一种对 $f_l(1/2)$ 的最优估计量，在 $t$ 较大时可达到标准非参数均方误差率。

ABSTRACT

When random forests are used for binary classification, an ensemble of $t=1,2,\dots$ randomized classifiers is generated, and the predictions of the classifiers are aggregated by majority vote. Due to the randomness in the algorithm, there is a natural tradeoff between statistical performance and computational cost. On one hand, as $t$ increases, the (random) prediction error of the ensemble tends to decrease and stabilize. On the other hand, larger ensembles require greater computational cost for training and making new predictions. The present work offers a new approach for quantifying this tradeoff: Given a fixed training set $\mathcal{D}$, let the random variables $ ext{Err}_{t,0}$ and $ ext{Err}_{t,1}$ denote the class-wise prediction error of a randomly generated ensemble of size $t$. As $t o\infty$, we provide a general bound on the algorithmic variance, $ ext{var}( ext{Err}_{t,l}|\mathcal{D})\leq \frac{f_l(1/2)^2}{4t}+o(\frac{1}{t})$, where $l\in\{0,1\}$, and $f_l$ is a density function that arises from the ensemble method. Conceptually, this result is somewhat surprising, because $ ext{var}( ext{Err}_{t,l}|\mathcal{D})$ describes how $ ext{Err}_{t,l}$ varies over repeated runs of the algorithm, and yet, the formula leads to a method for bounding $ ext{var}( ext{Err}_{t,l}|\mathcal{D})$ with a single ensemble. The bound is also sharp in the sense that it is attained by an explicit family of randomized classifiers. With regard to the task of estimating $f_l(1/2)$, the presence of the ensemble leads to a unique twist on the classical setup of non-parametric density estimation --- wherein the effects of sample size and computational cost are intertwined. In particular, we propose an estimator for $f_l(1/2)$, and derive an upper bound on its MSE that matches standard optimal non-parametric rates when $t$ is sufficiently large.

研究动机与目标

• 量化在二分类多数投票集成中计算成本与统计精度之间的权衡。
• 推导出作为集成规模 $t$ 函数的类别预测误差算法方差的非渐近、精确上界。
• 提出一种仅使用单个集成即可估计 $f_l(1/2)$（关键密度参数）的方法，尽管算法本身具有内在随机性。
• 证明所提出的 $f_l(1/2)$ 估计量在 $t$ 足够大时可达到最优非参数均方误差率。
• 建立所推导的方差界是紧的，并且可被显式随机分类器族实现。

提出的方法

• 推导类别 $l \in \{0,1\}$ 的条件方差 $\text{var}(\text{Err}_{t,l}|\mathcal{D})$ 的一般上界，表明其衰减为 $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$。
• 提出一种基于单个集成中个体分类器预测经验分布的新型 $f_l(1/2)$ 估计量。
• 分析所提估计量的均方误差（MSE），并证明在 $t$ 较大且满足正则性条件时，其达到最优非参数误差率。
• 通过构造一个使该界被实现的随机分类器族，证明方差界是紧的。
• 利用集成的内部结构估计关键点 $1/2$ 处的密度 $f_l$，有效解耦样本量与计算成本。
• 利用多数投票中的测度集中性，仅通过一次训练运行即推导出误差方差的有限样本保证。

实验结果

研究问题

• RQ1 随着集成规模 $t$ 增加，多数投票集成的算法方差如何衰减？
• RQ2 是否可以仅使用单个集成来估计控制方差衰减速率的密度 $f_l(1/2)$，而无需重复采样？
• RQ3 在集成计算约束下，估计 $f_l(1/2)$ 可实现的最优均方误差率是多少？
• RQ4 所推导的方差界是否紧致？若是，它在何种随机分类器族中可被实现？
• RQ5 样本量与计算成本之间的相互依赖关系如何影响此集成框架下的非参数密度估计？

主要发现

• 多数投票集成中类别误差的算法方差上界为 $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$，提供了精确的有限样本表征。
• 该界是紧致的，因为其被显式随机分类器族所实现，证实了其紧致性。
• 单个集成足以估计 $f_l(1/2)$，从而实现无需重复运行算法的方差估计。
• 所提出的 $f_l(1/2)$ 估计量在 $t$ 足够大时达到最优非参数均方误差率。
• 方差界揭示了精确的计算-精度权衡，误差方差以由 $f_l(1/2)$ 决定的速率递减。
• 该方法在非参数密度估计的集成框架中，首次独特地解决了样本量与计算成本之间的相互作用。