[论文解读] Exploiting the Surrogate Gap in Online Multiclass Classification

Dirk van der Hoeven|arXiv (Cornell University)|Jul 24, 2020

Advanced Bandit Algorithms Research参考文献 32被引用 4

一句话总结

本文提出 Gaptron，一种用于在线多分类的随机化一阶算法，通过利用零一损失（非凸）与代理损失（对数损失、合页损失、光滑合页损失）之间的差距，实现了全信息设置下的 $O(K)$ 损失，以及带 bandit 设置下的 $O(Kackslashsqrt{T})$ 损失，且不依赖于特征维度 $d$，是首个在 bandit 设置下实现该损失边界的线性时间算法。

ABSTRACT

We present Gaptron, a randomized first-order algorithm for online multiclass classification. In the full information setting we show expected mistake bounds with respect to the logistic loss, hinge loss, and the smooth hinge loss with constant regret, where the expectation is with respect to the learner's randomness. In the bandit classification setting we show that Gaptron is the first linear time algorithm with $O(K\sqrt{T})$ expected regret, where $K$ is the number of classes. Additionally, the expected mistake bound of Gaptron does not depend on the dimension of the feature vector, contrary to previous algorithms with $O(K\sqrt{T})$ regret in the bandit classification setting. We present a new proof technique that exploits the gap between the zero-one loss and surrogate losses rather than exploiting properties such as exp-concavity or mixability, which are traditionally used to prove logarithmic or constant regret bounds.

研究动机与目标

• 开发一种一阶在线多分类算法，在全信息与 bandit 设置下均实现改进的损失边界。
• 消除损失边界对特征维度 $d$ 的依赖，与以往的 $O(K\sqrt{T})$ bandit 算法不同。
• 提出一种基于零一损失与代理损失之间差距的新证明技术，而非依赖指数次凸性或可混合性。
• 在 bandit 多分类设置下实现线性时间的 $O(K\sqrt{T})$ 损失，这是此类边界首次实现。

提出的方法

• Gaptron 使用在线梯度下降（OGD）根据代理损失的梯度更新权重矩阵 $\W_t$。
• 它引入了一种随机化预测策略，学习者从类别分布中采样，以平衡探索与利用。
• 该算法利用零一损失（性能度量）与代理损失（优化目标）之间的差距，据此推导损失边界。
• 提出一种新颖的证明技术，将代理损失差距在全信息情况下界为 $O(K)$，在 bandit 情况下界为 $O(K\sqrt{T})$，且不依赖于 $d$。
• 分析中利用 AdaHedge 更新概率向量，并使用 Bhatia-Davis 不等式控制损失差距中的方差项。
• 该方法被推广以处理分类中的弃权情形，当弃权成本 $c_t < 1/2$ 时可确保有界损失。

实验结果

研究问题

• RQ1 能否设计一种一阶在线多分类器，在全信息设置下实现 $O(K)$ 损失，且不依赖于特征维度？
• RQ2 能否设计一种线性时间算法，在 bandit 多分类设置下实现 $O(K\sqrt{T})$ 损失？
• RQ3 能否系统性地利用零一损失与代理损失之间的差距来推导损失边界，而非依赖指数次凸性或可混合性？
• RQ4 如何在 bandit 多分类损失边界中消除对特征维度 $d$ 的依赖？

主要发现

• Gaptron 在全信息设置下，针对对数损失、合页损失与光滑合页损失，实现了 $O(K)$ 的期望损失。
• 在 bandit 设置下，Gaptron 实现了 $O(K\sqrt{T})$ 的期望损失，且不依赖于特征维度 $d$。
• Gaptron 是首个在 bandit 多分类设置下实现 $O(K\sqrt{T})$ 损失的线性时间算法。
• 损失边界通过一种新颖的证明技术推导，该技术利用零一损失与代理损失之间的差距，而非传统的指数次凸性等性质。
• 该算法维持一种随机化预测策略，通过自适应概率更新确保代理损失与弃权差距有界。
• 分析表明，即使弃权成本 $c_t < 1/2$，损失仍保持为 $O(K\sqrt{T})$，且常数项优于先前工作。