[论文解读] Multi-class SVMs: From Tighter Data-Dependent Generalization Bounds to Novel Algorithms

Yunwen Lei, Ürün Doǧan+2 more|arXiv (Cornell University)|Jun 14, 2015

Machine Learning and ELM参考文献 37被引用 31

一句话总结

本文提出了一种新型的 $μat{p}$-范数多分类SVM，其数据相关泛化界表现出对类别数量的对数依赖性，相较于以往的线性或二次依赖关系有显著改进。该方法利用高斯复杂度分析与Fenchel对偶性推导出高效的优化算法，在基准数据集上相较于最先进方法Crammer & Singer实现了最高1%的准确率提升。

ABSTRACT

This paper studies the generalization performance of multi-class classification algorithms, for which we obtain, for the first time, a data-dependent generalization error bound with a logarithmic dependence on the class size, substantially improving the state-of-the-art linear dependence in the existing data-dependent generalization analysis. The theoretical analysis motivates us to introduce a new multi-class classification machine based on $\ell_p$-norm regularization, where the parameter $p$ controls the complexity of the corresponding bounds. We derive an efficient optimization algorithm based on Fenchel duality theory. Benchmarks on several real-world datasets show that the proposed algorithm can achieve significant accuracy gains over the state of the art.

研究动机与目标

• 为解决现有多分类分类器在类别数量较大时泛化性能差的问题，特别是在图像标注和网络广告等现实应用场景中。
• 通过推导出更紧致、与数据相关的泛化界，缩小理论界限与实际算法之间的差距，使界与类别数量的依赖关系呈次线性增长。
• 基于 $μat{p}$-范数正则化，开发一种新型多分类学习机，其中 $p$ 控制模型复杂度与泛化行为。
• 利用Fenchel对偶性设计高效优化算法，适用于所提出的 $μat{p}$-范数SVM框架。
• 在真实世界多分类基准数据集上，实证验证所提方法相较于Crammer & Singer基线方法的优越性。

提出的方法

• 提出一种基于类别特定权重向量上 $μat{p}$-范数正则化的新型多分类SVM模型，该模型在 $p=2$ 时推广了Crammer & Singer方法。
• 利用高斯复杂度推导出新颖的数据相关泛化界，能够捕捉多分类分类器中各组件间的耦合关系，与以往基于Rademacher的分析不同。
• 采用Fenchel对偶性推导对偶优化问题，通过对偶坐标上升法实现高效训练。
• 提出关于最大结构函数类的高斯复杂度的结构结果，保留了组件间的耦合关系，从而获得更紧致的界。
• 采用两阶段网格搜索法确定超参数 $C$ 与 $p$，并在最优 $p$ 值附近进行细化，以确保稳健的模型选择。
• 使用C++实现该算法，并在三个标准基准数据集（Sector、News 20、Rcv1）上进行评估，采用5折交叉验证进行超参数调优。

实验结果

研究问题

• RQ1 多分类分类的数据相关泛化界能否被改进，使其对类别数量呈现次线性，特别是对数依赖？
• RQ2 通过高斯复杂度分析利用多分类分类器中组件间的耦合关系，是否能获得比现有基于Rademacher的方法更紧致的泛化界？
• RQ3 $μat{p}$-范数正则化的多分类SVM模型能否在测试准确率上优于Crammer & Singer基线方法，尤其是在类别数量较多的情况下？
• RQ4 基于Fenchel对偶性的所提优化算法是否在大规模多分类问题中高效且可扩展？
• RQ5 超参数 $p$ 是否能被有效调优，以在模型复杂度与泛化性能之间实现良好平衡？

主要发现

• 与Crammer & Singer基线相比，所提方法在Sector数据集上实现了0.31%的准确率增益。
• 在News 20数据集上，所提的 $μat{p}$-范数SVM相较于最先进方法实现了1.07%的准确率提升。
• 在Rcv1数据集上，所提方法相比Crammer & Singer模型将测试准确率提高了0.53%。
• 利用高斯复杂度推导出的泛化界对类别数量表现出对数依赖性，相较于以往数据相关界中的线性依赖关系有显著改进。
• 理论分析表明，正则化类型，特别是 $μat{p}$-范数中的 $p$，对控制模型复杂度与泛化性能具有关键作用。
• 实证结果证实，所提算法在多种真实世界数据集上始终优于Crammer & Singer方法，准确率增益最高达1%。