[论文解读] Generalization error for multi-class margin classification

Xiaotong Shen, Lifeng Wang|arXiv (Cornell University)|Aug 27, 2007

Face and Expression Recognition被引用 7

一句话总结

本文为多类边缘分类的一般化误差率建立了一个理论框架，提出一种新方法，通过聚焦于风险最小化函数 f_V 而绕过Fisher一致性。推导了依赖于逼近误差与估计误差的一般化误差上界，展示了在线性分类中任意快速的收敛速率，并为 p ≪ exp(n) 的高维特征选择提供了收敛速率。

ABSTRACT

In this article, we study rates of convergence of the generalization error of multi-class margin classifiers. In particular, we develop an upper bound theory quantifying the generalization error of various large margin classifiers. The theory permits a treatment of general margin losses, convex or nonconvex, in presence or absence of a dominating class. Three main results are established. First, for any fixed margin loss, there may be a trade-off between the ideal and actual generalization performances with respect to the choice of the class of candidate decision functions, which is governed by the trade-off between the approximation and estimation errors. In fact, different margin losses lead to different ideal or actual performances in specific cases. Second, we demonstrate, in a problem of linear learning, that the convergence rate can be arbitrarily fast in the sample size $n$ depending on the joint distribution of the input/output pair. This goes beyond the anticipated rate $O(n^{-1})$. Third, we establish rates of convergence of several margin classifiers in feature selection with the number of candidate variables $p$ allowed to greatly exceed the sample size $n$ but no faster than $\exp(n)$.

研究动机与目标

• 开发一个超越二分类设置的多类边缘分类一般化误差的理论框架。
• 通过聚焦于风险最小化函数 f_V 而非贝叶斯决策函数，克服Fisher一致性的局限性。
• 量化逼近误差与估计误差在一般化性能中的权衡关系。
• 在特征数 p >> n 但 p ≤ exp(n) 的高维设置下，建立边缘分类器的收敛速率。
• 证明收敛速率可因输入/输出对的联合分布而任意快速。

提出的方法

• 提出一种新颖的理论方法，针对 Regret( f̂, f_V ) 而非Fisher一致性，其中 f_V 是候选函数集 F 上的风险最小化函数。
• 引入广义多类边缘损失，统一各类二分类边缘损失的推广形式。
• 利用逼近误差（f_V 与真实贝叶斯函数的距离）和估计误差（由有限样本引起的偏差）来界定一般化误差。
• 应用逐点分析与凸分析验证收敛条件，包括对误差衰减速率的假设 A 和 B。
• 采用基于熵的技术控制高维特征选择中的复杂度，尤其适用于稀疏学习。
• 推导熵数 H_U(ε, G_p(s)) 的上界，以处理高维空间中候选函数的增长。

实验结果

研究问题

• RQ1 逼近误差与估计误差如何在决定多类边缘分类器的一般化性能中相互权衡？
• RQ2 在线性分类中，一般化误差的收敛速率是否可以任意快？其决定因素是什么？
• RQ3 主导类的存在如何影响多类边缘分类中的一般化误差？
• RQ4 当特征数 p 远大于样本量 n 但增长不超过 exp(n) 时，边缘分类器的收敛速率如何？
• RQ5 边缘损失的选择（凸或非凸）如何影响理想与实际的一般化性能？

主要发现

• 对于任意固定的边缘损失，逼近误差与估计误差之间存在决定一般化性能的权衡，不同损失函数导致不同的最优行为。
• 在线性分类中，一般化误差的收敛速率可依输入/输出对的联合分布而任意快速，超过标准的 O(n⁻¹) 速率。
• 在一般化误差中，理想性能（基于 f_V）在在线性分类中更为关键，而逼近误差在非线性设置中占主导地位。
• 对于 p ≪ exp(n) 的高维特征选择，本文为多种边缘分类器建立了收敛速率，揭示了惩罚项在稀疏学习中的作用。
• 通过基于熵的复杂度控制推导出理论边界，表明对于稀疏函数类有 H_U(ε, G_p(s)) ≤ c(p log(1 + 1/(pε²)) + ε⁻² log(pε² + 1))。
• 引理验证了在各种损失函数（包括SVM和ψ-learning）下，风险最小化函数 f_V 的存在性与良好性质，即使在存在主导类的情况下亦然。