[论文解读] Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection

Mehmet Umut Şen, Hakan Erdoğan|arXiv (Cornell University)|Jun 8, 2011

Face and Expression Recognition参考文献 25被引用 5

一句话总结

该论文提出了一种带有稀疏正则化的最大间隔堆叠方法，用于线性分类器组合，采用合页损失和组稀疏性来优化元学习器权重。该方法在8个数据集上对多样化和非多样化集成均表现出更高的准确率并减少了分类器数量，尤其在使用组稀疏性（l1-l2）时表现更优，优于标准方法。

ABSTRACT

The main principle of stacked generalization (or Stacking) is using a second-level generalizer to combine the outputs of base classifiers in an ensemble. In this paper, we investigate different combination types under the stacking framework; namely weighted sum (WS), class-dependent weighted sum (CWS) and linear stacked generalization (LSG). For learning the weights, we propose using regularized empirical risk minimization with the hinge loss. In addition, we propose using group sparsity for regularization to facilitate classifier selection. We performed experiments using two different ensemble setups with differing diversities on 8 real-world datasets. Results show the power of regularized learning with the hinge loss function. Using sparse regularization, we are able to reduce the number of selected classifiers of the diverse ensemble without sacrificing accuracy. With the non-diverse ensembles, we even gain accuracy on average by using sparse regularization.

研究动机与目标

• 通过使用正则化经验风险最小化优化元学习器权重，以提升堆叠泛化的一般化性能。
• 解决在集成系统中选择最少但最有效的基分类器以减少推理时间的挑战。
• 研究不同线性组合类型——加权和（WS）、类别相关加权和（CWS）和线性堆叠泛化（LSG）——对集成准确率和鲁棒性的影响。
• 评估l1和l1-l2（组稀疏性）正则化在不牺牲准确率的前提下减少所选基分类器数量的有效性。
• 将带有合页损失的正则化学习性能与堆叠泛化中的传统最小二乘估计进行比较。

提出的方法

• 将元学习器权重学习表述为使用合页损失函数的正则化经验风险最小化问题，以提升基于间隔的一般化性能。
• 应用l1和l1-l2（组稀疏性）正则化，以在权重向量中促进稀疏性，通过将无关分类器的权重驱动至零，实现自动分类器选择。
• 采用内部交叉验证生成元学习器的level-1训练数据，通过确保基分类器输出不使用元学习器学习所用的相同数据，防止过拟合。
• 比较三种线性组合策略：WS（均匀权重）、CWS（类别特定权重）和LSG（以类别得分作为特征的线性元分类器）。
• 采用两阶段集成设置：一组使用多样化基分类器，另一组使用非多样化分类器，以评估在不同多样性水平下的鲁棒性。
• 采用多响应学习框架，联合优化所有类别的权重，保留组合过程中的类别特定关系。

实验结果

研究问题

• RQ1 在正则化经验风险最小化中使用合页损失是否能相比最小二乘估计显著提升线性分类器组合的准确率？
• RQ2 组稀疏性（l1-l2正则化）是否能有效减少所选基分类器的数量，同时保持或提升准确率？
• RQ3 不同组合类型——WS、CWS和LSG——如何影响多样化和非多样化集成中的性能？
• RQ4 在基分类器可能相关性的非多样化集成中，稀疏正则化是否能带来更好的泛化性能？
• RQ5 在准确率和所选分类器的稀疏性方面，l1-l2正则化是否优于l1正则化？

主要发现

• 使用合页损失与正则化相比最小二乘估计显著提升了准确率，l1-l2正则化在所有数据集上的平均误差率最低。
• 在多样化集成中，l1-l2正则化将所选分类器数量平均减少至8.4（Segment）和3.0（Vowel），而l2正则化为154，准确率损失极小。
• 在非多样化集成中，l1-l2正则化实现了更低的平均误差率（9.96%），优于l2（10.06%），并在某些情况下甚至优于基线，特别是在Vowel和Wine数据集中。
• 对于CWS和LSG，l1-l2正则化所选分类器数量显著少于l1（例如，Segment上为2.6 vs. 13.6），同时保持或提升了准确率。
• 在非多样化设置中，CWS结合l1-l2正则化在准确率与模型复杂度之间实现了最佳平衡，平均仅选择13.7个分类器。
• l1-l2正则化在准确率和稀疏性方面均优于l1，尤其在Vowel和Wine等数据集中表现显著，分别将所选分类器数量从69.2和65.0减少至3.0和21.9。