[论文解读] Margins, Kernels and Non-linear Smoothed Perceptrons

Aaditya Ramdas, Javier Peña|arXiv (Cornell University)|May 15, 2015

Stochastic Gradient Optimization Techniques参考文献 12被引用 5

一句话总结

该论文提出了一类用于再生核希尔伯特空间（RKHS）中非线性分类的加速平滑核感知机算法，原始问题的收敛速率为 $\frac{\sqrt{\log n}}{\rho_K}$，原始-对偶算法的收敛速率为 $\min\left\{\frac{\sqrt{n}}{\epsilon}, \frac{\sqrt{n}}{|\rho_K|}\right\}$，其中 $\rho_K$ 为归一化间隔。该方法通过核化马氏距离范数和平滑次梯度方法，推广了感知机和冯·诺依曼算法。

ABSTRACT

We focus on the problem of finding a non-linear classification function that lies in a Reproducing Kernel Hilbert Space (RKHS) both from the primal point of view (finding a perfect separator when one exists) and the dual point of view (giving a certificate of non-existence), with special focus on generalizations of two classical schemes - the Perceptron (primal) and Von-Neumann (dual) algorithms. We cast our problem as one of maximizing the regularized normalized hard-margin ($ρ$) in an RKHS and %use the Representer Theorem to rephrase it in terms of a Mahalanobis dot-product/semi-norm associated with the kernel's (normalized and signed) Gram matrix. We derive an accelerated smoothed algorithm with a convergence rate of $ frac{\sqrt {\log n}}ρ$ given $n$ separable points, which is strikingly similar to the classical kernelized Perceptron algorithm whose rate is $ frac1{ρ^2}$. When no such classifier exists, we prove a version of Gordan's separation theorem for RKHSs, and give a reinterpretation of negative margins. This allows us to give guarantees for a primal-dual algorithm that halts in $\min\{ frac{\sqrt n}{|ρ|}, frac{\sqrt n}ε\}$ iterations with a perfect separator in the RKHS if the primal is feasible or a dual $ε$-certificate of near-infeasibility.

研究动机与目标

• 在再生核希尔伯特空间（RKHS）中构建一种非线性分类框架，推广经典感知机与冯·诺依曼算法。
• 解决在RKHS中寻找完美分离超平面的原始问题，以及在不存在此类分离超平面时验证不可行性的对偶问题。
• 推导出依赖于归一化间隔 $\rho_K$ 而非 $\rho_K^{-2}$ 的收敛性保证，优于经典核化感知机的收敛速率。
• 统一并扩展先前关于平滑感知机与弗兰克-沃尔夫型方法的研究，将其推广至RKHS设置，并实现更优的收敛速率。
• 设计一种原始-对偶算法，能在时间上与间隔成反比的情况下，要么找到完美分离超平面，要么提供 $\epsilon$-近不可行性证书。

提出的方法

• 将非线性分类问题重新表述为在RKHS中通过由核Gram矩阵定义的马氏半范数，最大化正则化归一化硬间隔 $\rho_K$ 的问题。
• 提出平滑归一化核感知机（SNKP）算法，通过在对偶空间中使用 $\ell_2$-正则化对硬间隔损失函数进行平滑近似。
• 采用迭代平滑方案（ISNKPVN），动态调整平滑参数 $\delta_t$ 以加速收敛，其中 $\delta_t = \|q_0\|_G / \gamma^{t+1}$。
• 基于RKHS中的戈丹定理构建对偶证书，用于检测不可行性，即当且仅当原始问题不可行时，对偶问题可行。
• 在对偶空间中应用次梯度方法，并结合线搜索策略以确保收敛，利用核Gram矩阵 $G$ 的结构。
• 通过原始迭代 $p_t$、对偶迭代 $q_t$ 与间隔 $\rho_K$ 之间的关系推导收敛界，证明 $\|q_t\|_G \leq \|q_0\|_G / \gamma^{t+1}$。

实验结果

研究问题

• RQ1 能否将经典感知机与冯·诺依曼算法推广至RKHS中的非线性分类，并实现更优的收敛速率？
• RQ2 在归一化间隔 $\rho_K$ 的表达下，平滑核感知机算法的最优收敛速率是多少？
• RQ3 能否设计一种原始-对偶算法，实现对不可行性的同时验证与在RKHS中寻找分离超平面，并实现与间隔相关的收敛速率？
• RQ4 与经典核化感知机相比，使用核化马氏距离范数和平滑次梯度方法如何影响收敛性？
• RQ5 在原始-对偶设置中，是否可能实现对 $n$ 和 $1/\epsilon$ 的对数多边形依赖，同时保持收敛速率中对 $1/\rho_K$ 的依赖？

主要发现

• 平滑归一化核感知机（SNKP）实现了 $\frac{\sqrt{\log n}}{\rho_K}$ 的收敛速率，显著快于经典核化感知机的 $\frac{1}{\rho_K^2}$ 速率。
• 当RKHS中存在完美分离超平面时，迭代SNKP-冯·诺依曼（ISNKPVN）算法在 $O\left(\frac{\sqrt{n}}{\rho_K}\log\left(\frac{1}{\rho_K}\right)\right)$ 次迭代内终止。
• 当不存在完美分离超平面时，该算法在 $O\left(\min\left\{\frac{\sqrt{n}}{\epsilon}, \frac{\sqrt{n}}{|\rho_K|}\right\} \log\left(\frac{1}{\epsilon}\right)\right)$ 次迭代内找到 $\epsilon$-解，并提供近不可行性的对偶证书。
• 论文在RKHS中证明了戈丹定理的一个版本，表明对偶问题可行当且仅当原始问题不可行，从而实现了稳健的不可行性检测。
• 收敛界与输入维度 $d$ 无关，仅依赖于 $n$、$\rho_K$ 和 $\epsilon$，使该方法在高维特征空间中具有可扩展性。
• 作者推测，若采用其他平滑函数，可能进一步优化对 $n$ 的 $\sqrt{\log n}$ 依赖关系，但闭式解仍具挑战性。