[论文解读] Maximum Margin Multiclass Nearest Neighbors

Aryeh Kontorovich, Roi Weiss|arXiv (Cornell University)|Jan 30, 2014

Machine Learning and Algorithms参考文献 39被引用 16

一句话总结

本文提出了一种在度量空间中基于边缘正则化的多类最近邻分类器，其泛化界对类别数 $k$ 的依赖为对数形式，显著优于先前的 $\widetilde{O}(\mathrm{poly}(k))$ 界。该方法在双倍度量空间中实现了 $O(n^2 \mathrm{log} n)$ 的训练时间与 $O(\mathrm{log} n)$ 的推理时间，同时通过自适应维度降低技术提升了样本效率与计算效率。

ABSTRACT

We develop a general framework for margin-based multicategory classification in metric spaces. The basic work-horse is a margin-regularized version of the nearest-neighbor classifier. We prove generalization bounds that match the state of the art in sample size $n$ and significantly improve the dependence on the number of classes $k$. Our point of departure is a nearly Bayes-optimal finite-sample risk bound independent of $k$. Although $k$-free, this bound is unregularized and non-adaptive, which motivates our main result: Rademacher and scale-sensitive margin bounds with a logarithmic dependence on $k$. As the best previous risk estimates in this setting were of order $\sqrt k$, our bound is exponentially sharper. From the algorithmic standpoint, in doubling metric spaces our classifier may be trained on $n$ examples in $O(n^2\log n)$ time and evaluated on new points in $O(\log n)$ time.

研究动机与目标

• 开发一种基于边缘的多类分类框架，适用于度量空间，避免核方法和 $k$ 到二值化转换的局限性。
• 推导出对类别数 $k$ 依赖性更优的泛化界，尤其适用于高维或非希尔伯特空间。
• 设计一种高效算法，实现低训练与推理时间，利用结构风险最小化与近似最近邻技术。
• 通过度量维度降低技术，利用数据的内在维度，实现自适应泛化界。

提出的方法

• 引入一种基于利普希茨连续得分函数的边缘正则化最近邻分类器，定义于点-标签对上。
• 推导出与 $k$ 无关的有限样本风险界，建立 $k$-无关的泛化保证。
• 推导出基于雷米奇和尺度敏感的边缘界，对 $k$ 的依赖为 $O(\log k)$，优于先前的 $O(\sqrt{k})$ 依赖。
• 应用结构风险最小化（SRM）选择最优利普希茨常数 $L$，通过最小顶点覆盖近似减少过拟合。
• 在双倍度量空间中使用近似最近邻技术，实现 $O(\log n)$ 的评估时间，训练时间为 $O(n^2 \log n)$。
• 通过 $(\alpha,\beta)$-扰动实现自适应维度降低，利用数据的内在维度，提升样本效率与运行时复杂度。

实验结果

研究问题

• RQ1 能否设计一种基于边缘的多类最近邻分类器，使其泛化界对 $k$ 的依赖为对数形式而非 $\sqrt{k}$？
• RQ2 是否可能在度量空间中设计一种高效算法，实现多类最近邻分类，且具有 $O(\log n)$ 的推理时间与 $O(n^2 \log n)$ 的训练时间？
• RQ3 如何利用数据的内在维度来提升度量空间分类中的泛化性能与算法效率？
• RQ4 结构风险最小化能否在多类设置下被有效应用于最近邻分类器，并提供可证明的保证？
• RQ5 度量维度降低对多类分类中泛化界与算法复杂度有何影响？

主要发现

• 本文建立了 $\min\left\{\frac{1}{\gamma}\left(\frac{\log k}{n}\right)^{\frac{1}{D+1}}, \frac{1}{\gamma^{\frac{D}{2}}}\left(\frac{\log k}{n}\right)^{\frac{1}{2}}\right\}$ 形式的泛化界，对 $k$ 的依赖为 $O(\log k)$，显著优于先前的 $O(\sqrt{k})$ 界。
• 推导出一个接近贝叶斯最优的风险界，与 $k$ 无关，即使在 $k=\infty$ 时也成立，但该界为非自适应且依赖于分布。
• 该算法在双倍度量空间中通过近似最近邻技术实现了 $O(n^2 \log n)$ 的训练时间与 $O\left(\log n\right)$ 的推理时间。
• 提供了 $\varepsilon$-近似版本的算法，其泛化界具有平滑退化特性，同时在近似下保持效率。
• 通过 $(\alpha,\beta)$-扰动实现自适应维度降低，使泛化界依赖于内在维度 $\beta$ 而非环境维度。
• 经验雷米奇复杂度被界定为 $\widehat{\mathcal{R}}_n(\mathcal{H}_L; S) = O\left(L\left(\alpha + \left(\frac{\log k}{n}\right)^{\frac{1}{1+\beta}}\right)\right)$，其中 $\alpha$ 和 $\beta$ 分别为数据的扭曲参数与内在维度参数。