[论文解读] Exclusivity Regularized Machine

Xiaojie Guo|arXiv (Cornell University)|Mar 28, 2016

Machine Learning and ELM参考文献 19被引用 10

一句话总结

该论文提出了一种新型集成学习框架——排斥正则化机器（ERM），通过一种名为排斥度的新多样性度量，联合最小化训练误差并最大化基支持向量机（SVM）之间的多样性。该方法采用增广拉格朗日乘子（ALM）算法高效求解优化问题，在准确率方面表现优越，且训练速度相比最先进的方法（如DRM）最快可达2000倍，其中L2-ERM10在所有数据集上的平均排名为2.5。

ABSTRACT

It has been recognized that the diversity of base learners is of utmost importance to a good ensemble. This paper defines a novel measurement of diversity, termed as exclusivity. With the designed exclusivity, we further propose an ensemble model, namely Exclusivity Regularized Machine (ERM), to jointly suppress the training error of ensemble and enhance the diversity between bases. Moreover, an Augmented Lagrange Multiplier based algorithm is customized to effectively and efficiently seek the optimal solution of ERM. Theoretical analysis on convergence and global optimality of the proposed algorithm, as well as experiments are provided to reveal the efficacy of our method and show its superiority over state-of-the-art alternatives in terms of accuracy and efficiency.

研究动机与目标

• 为解决集成学习中平衡低训练误差与高多样性以提升泛化能力的关键挑战。
• 定义一种新的、具有理论基础的多样性度量——排斥度，用于量化基学习器之间非重叠的预测行为。
• 构建统一的优化框架ERM，联合最小化经验误差并最大化基SVM之间的排斥度。
• 设计一种高效且全局最优的基于ALM的算法，用于求解ERM优化问题，并具备理论收敛保证。
• 通过实证验证ERM在多种基准数据集上在准确率、效率与鲁棒性方面的优越性。

提出的方法

• 提出将排斥度作为基学习器之间多样性的一种松弛化、可微分的度量，通过其预测差异的L2范数进行定义。
• 提出排斥正则化机器（ERM），一种集成模型，其优化目标为联合最小化经验合页损失与最大化C个基SVM之间的排斥度。
• 在权重矩阵W上使用Frobenius范数正则化以促进多样性，排斥度定义为不同基模型预测差异的L2范数。
• 采用增广拉格朗日乘子（ALM）算法求解非凸、非光滑的优化问题，并具备理论保证收敛至全局最优解。
• 应用二分查找策略高效求解涉及非光滑合页损失函数的子问题，实现快速且稳定的优化。
• 在纯MATLAB中实现该方法，训练集规模呈线性可扩展性，即使在大规模数据上也能保持高效率。

实验结果

研究问题

• RQ1 能否定义一种新的、具有理论基础的多样性度量——排斥度，以有效捕捉集成模型中基学习器的非重叠行为？
• RQ2 联合优化训练误差与排斥度是否能带来优于现有集成方法的泛化性能？
• RQ3 能否为所得的非凸ERM优化问题设计一种高效且全局最优的优化算法？
• RQ4 与AdaBoost、Bagging及DRM等最先进集成方法相比，所提出的ERM在准确率与训练效率方面表现如何？
• RQ5 ERM框架在具有不同数据分布与规模的多样化数据集上是否能保持高性能？

主要发现

• ERM在大多数基准数据集上显著优于AdaBoost、Bagging与DRM，其中L2-ERM10在8个数据集上的平均排名为2.5（L2-ERM10）与3.4（L2-ERM10），表现最佳。
• L2-ERM10的平均排名为2.5，前五名的平均排名均低于5.0，表明其在各数据集上均表现出强大且一致的性能。
• ERM的训练时间极短——30个组件的训练时间不足0.14秒，而DRM在10个组件下的训练时间为168.57秒，实现了2000倍的速度提升。
• 基于ALM的算法收敛可靠，且理论上保证可达到全局最优解，确保了模型训练的稳定与最优。
• 即使在稀疏正则化（L1范数）条件下，该方法仍保持高准确率，L1-ERM10与L1-ERM30分别排名第四与第五，表现强劲。
• 该框架具有高度可扩展性与高效性，训练时间随数据集规模线性增长，适用于大规模应用场景。