[论文解读] Learning Kernel-Based Halfspaces with the Zero-One Loss

Shai Shalev‐Shwartz, Ohad Shamir+1 more|arXiv (Cornell University)|May 20, 2010

Machine Learning and Algorithms参考文献 18被引用 4

一句话总结

本文提出了一种新颖的算法，用于使用非凸零一损失有agnostic地学习基于核的半空间，实现了有限样本和有限时间的保证。该算法运行时间复杂度为 poly(exp(L log(L/ε)))，返回一个与最优半空间相差不超过 ε 的分类器，同时给出了一个匹配的困难性结果，表明在某种密码学假设下，不存在多项式时间算法能实现相同保证。

ABSTRACT

We describe and analyze a new algorithm for agnostically learning kernel-based halfspaces with respect to the \emph{zero-one} loss function. Unlike most previous formulations which rely on surrogate convex loss functions (e.g. hinge-loss in SVM and log-loss in logistic regression), we provide finite time/sample guarantees with respect to the more natural zero-one loss function. The proposed algorithm can learn kernel-based halfspaces in worst-case time $\poly(\exp(L\log(L/ε)))$, for $\emph{any}$ distribution, where $L$ is a Lipschitz constant (which can be thought of as the reciprocal of the margin), and the learned classifier is worse than the optimal halfspace by at most $ε$. We also prove a hardness result, showing that under a certain cryptographic assumption, no algorithm can learn kernel-based halfspaces in time polynomial in $L$.

研究动机与目标

• 解决使用零一损失函数学习基于核的半空间时缺乏有限样本和有限时间保证的问题。
• 设计一种非正规学习算法，实现相对于更自然的零一损失的低泛化误差，而非依赖于铰链损失或对数损失等代理凸损失。
• 提供依赖于转移函数的利普希茨常数 L 而非输入维度的理论运行时间和样本复杂度界。
• 建立一个计算困难性结果，表明在某种密码学假设下，不存在多项式时间算法能实现相同保证。

提出的方法

• 提出一种基于在再生核希尔伯特空间（RKHS）中构造特殊核函数的线性回归方法，采用绝对损失。
• 使用一族利普希茨连续的转移函数（例如：S型函数、误差函数、分段线性函数）来逼近非连续的零一函数。
• 将假设类定义为形式为 h(x) = φ(⟨w, x⟩) 的分类器，其中 φ 是逼近零一阶跃函数的 L-利普希茨函数。
• 引入一个参数 B，用于限制转移函数的多项式逼近的系数，从而实现对运行时间的控制。
• 对转移函数的有限组多项式逼近应用经验风险最小化，确保运行时间有限。
• 利用最优半空间可表示为训练样本的有界系数组合这一事实，实现对有界系数组合的搜索。

实验结果

研究问题

• RQ1 我们能否在零一损失函数下，为基于核的半空间学习实现有限样本和有限时间的学习保证？
• RQ2 是否可能设计一种算法，在不依赖凸代理损失（如铰链损失或对数损失）的情况下，对零一损失表现良好？
• RQ3 在零一损失下，学习基于核的半空间的计算复杂度是多少？能否在利普希茨常数 L 的指数依赖基础上进一步改进？
• RQ4 在何种条件下，基于零一损失学习基于核的半空间在计算上是困难的？
• RQ5 是否存在一种单一算法，能同时在有界系数族 P_B 中所有可能的转移函数上实现良好性能？

主要发现

• 所提出的算法以至少 1−δ 的概率，使用有限数量的样本，实现与最优半空间相差不超过 ε 的误差率。
• 该算法的运行时间复杂度为 poly(exp(L log(L/ε)))，其中 L 为转移函数的利普希茨常数，提供了有限时间保证。
• 计算困难性结果表明，在某种密码学假设下，不存在运行时间关于 L 为多项式的时间算法，能够学习基于核的半空间。
• 该算法的运行时间依赖于参数 B，最坏情况下 B 为 poly(exp(Õ(1/μ)))，但实际中可能显著更小，得益于交叉验证。
• 该算法在有界系数族 P_B 中所有转移函数上均表现良好，实际上隐式学习到了最优转移函数。
• 与以往需要 poly(exp(Õ(1/μ²))) 时间的穷举搜索方法相比，该方法通过将指数部分从 1/μ² 降低到 1/μ，实现了更优的运行时间复杂度。