[论文解读] Linear and Order Statistics Combiners for Pattern Classification

Kagan Tumer, Joydeep Ghosh|ArXiv.org|May 20, 1999

Neural Networks and Applications参考文献 67被引用 137

一句话总结

本文提出了一种分析框架，用于理解线性组合器和顺序统计组合器如何通过最小化决策边界的方差来减少分类误差。结果表明，对N个不相关的分类器进行平均可使误差降低为原来的1/N；而顺序统计组合器（如中位数、最大值）在高方差环境下能提供显著的鲁棒性提升，尤其在单个分类器性能差异显著时效果更明显。

ABSTRACT

Several researchers have experimentally shown that substantial improvements can be obtained in difficult pattern recognition problems by combining or integrating the outputs of multiple classifiers. This chapter provides an analytical framework to quantify the improvements in classification results due to combining. The results apply to both linear combiners and order statistics combiners. We first show that to a first order approximation, the error rate obtained over and above the Bayes error rate, is directly proportional to the variance of the actual decision boundaries around the Bayes optimum boundary. Combining classifiers in output space reduces this variance, and hence reduces the "added" error. If N unbiased classifiers are combined by simple averaging, the added error rate can be reduced by a factor of N if the individual errors in approximating the decision boundaries are uncorrelated. Expressions are then derived for linear combiners which are biased or correlated, and the effect of output correlations on ensemble performance is quantified. For order statistics based non-linear combiners, we derive expressions that indicate how much the median, the maximum and in general the ith order statistic can improve classifier performance. The analysis presented here facilitates the understanding of the relationships among error rates, classifier boundary distributions, and combining in output space. Experimental results on several public domain data sets are provided to illustrate the benefits of combining and to support the analytical results.

研究动机与目标

• 开发一种分析框架，用于量化在输出空间中通过分类器组合实现的误差减少。
• 阐明决策边界方差、贝叶斯误差与集成性能之间的关系。
• 分析单个分类器中的偏差、相关性和方差对组合性能的影响。
• 评估线性组合器（平均、加权平均）和非线性顺序统计组合器（中位数、最大值、第i个顺序统计量）的有效性。
• 为现实世界中的模式识别问题提供关于最优分类器组合策略的实用见解。

提出的方法

• 将决策边界建模为一个不假设特定分布的随机变量，从而实现对误差方差的一般性分析。
• 推导出表达式，表明附加误差率与决策边界围绕贝叶斯最优值的方差成正比。
• 通过量化偏差和相关性对集成误差的影响，分析线性组合器，证明当分类器不相关且无偏差时，误差可降低为原来的1/N。
• 基于高斯误差模型，推导顺序统计组合器的性能边界，计算中位数、最大值和第i个顺序统计量的降低因子。
• 在多分类问题中使用两分类近似，聚焦于局部区域内后验概率最高的两类。
• 通过在公开数据集上的实验验证分析结果，将组合器性能与单个分类器进行比较。

实验结果

研究问题

• RQ1 在输出空间中组合分类器如何减少分类误差，其基本机制是什么？
• RQ2 当单个分类器不相关且无偏差时，线性组合器能在多大程度上减少误差？
• RQ3 单个分类器之间的偏差和相关性如何影响线性组合器的性能？
• RQ4 使用中位数或最大值等顺序统计组合器能获得多大的性能提升？
• RQ5 在何种场景下，顺序统计组合器优于线性平均，特别是在单个分类器性能变化较大的情况下？

主要发现

• 对于N个不相关且无偏差的分类器，简单平均可使附加误差率降低为原来的1/N。
• 线性组合器在减少方差方面最为有效；当单个分类器存在偏差时，其改进效果有限。
• 在高方差场景下，中位数和最大值等顺序统计组合器能提供显著的鲁棒性提升，尤其在单个分类器性能差异显著时。
• 顺序统计组合器的性能可与平均法相媲美，但在单个分类器表现出显著性能差异时更为有效。
• 组合可以补偿过拟合，但无法补偿严重欠拟合，表明其对减少方差的影响强于对减少偏差的影响。
• 实现最优性能的分类器数量受到大N时i.i.d.假设失效的限制，此时收益递减。