[论文解读] A Simple Algorithm for Maximum Margin Classification, Revisited

Sariel Har-Peled|arXiv (Cornell University)|Jul 6, 2015

Machine Learning and Algorithms参考文献 1被引用 3

一句话总结

本文重新审视了一种用于在高维空间中计算线性最大间隔分类器的简单迭代算法。利用标签和反例预言机，该算法逐步优化两类之间的分离板，以在 O((Δ/γ)²/ε²) 次迭代内实现最优间隔的 (1−ε)-近似，总时间复杂度为 O(Idxn)，其中 Δ 为点集直径，γ 为真实间隔。

ABSTRACT

In this note, we revisit the algorithm of Har-Peled et. al. [HRZ07] for computing a linear maximum margin classifier. Our presentation is self contained, and the algorithm itself is slightly simpler than the original algorithm. The algorithm itself is a simple Perceptron like iterative algorithm. For more details and background, the reader is referred to the original paper.

研究动机与目标

• 呈现 Har-Peled 等人（2007 年）提出的最大间隔分类算法的自包含简化版本。
• 在主动学习设置中最小化昂贵的预言机查询次数（标签和反例）。
• 在 ℝᵈ 中对线性可分数据实现最大间隔分类器的 (1−ε)-近似。
• 在间隔和直径约束下分析算法的收敛速度和迭代复杂度。

提出的方法

• 该算法使用由两点 bᵢ 和 wᵢ 定义的板，围绕其线段形成一个 (1−ε)-缩小的板。
• 在每次迭代中，它通过反例预言机检查当前板是否分离了所有点；若否，则选择距离板中平面最近的点。
• 它向标签预言机查询最近误分类点的标签，并通过投影更新板定义点之一以改善分离效果。
• 该算法维护一个递减的板宽序列 ℓᵢ = ||bᵢ − wᵢ||，每次更新使宽度减少的因子受 1 − (εℓᵢ/(4Δ))² 的上界约束。
• 通过证明每个阶段（ℓᵢ 减半）耗时 O((2ʲ/ε)²) 次迭代，且最终阶段主导总复杂度，来分析收敛性。
• 总迭代次数被限制在 O((Δ/γ)²/ε²) 以内，从而确保高效收敛至 (1−ε)-近似最大间隔分类器。

实验结果

研究问题

• RQ1 是否可通过更简单、自包含的算法，在最小化预言机查询次数的前提下实现 (1−ε)-近似最大间隔分类？
• RQ2 在基于间隔的主动学习设置中，迭代次数如何随数据直径 Δ 和间隔 γ 变化？
• RQ3 仅使用标签和反例预言机的迭代板优化算法的理论收敛速率为何？
• RQ4 该算法能否被解释为对最大间隔分离的底层二次规划问题的近似？
• RQ5 板更新的几何结构如何确保向最优间隔单调改进？

主要发现

• 该算法在 O((Δ/γ)²/ε²) 次迭代内计算出 (1−ε)-近似最大间隔分类器，总时间复杂度为 O(Idn)。
• 每次迭代最多调用一次标签预言机和一次反例预言机，最大限度减少了昂贵查询。
• 迭代次数主要由最终阶段决定，该阶段在板宽低于 2γ 时开始，在 γ 处结束，耗时 O((Δ/γ)²/ε²) 步。
• 板宽 ℓᵢ 在各阶段内几何递减，第 j 个阶段持续 O((2ʲ/ε)²) 次迭代。
• 该算法保证在 I = O((Δ/γ)²/ε²) 次迭代后，所得板的宽度至少为 (1−ε)γ，且能正确分离所有点。
• 该方法为最优间隔分类器提供了实用且高效的近似，可解释为求解相关二次规划问题的一阶方法。