[论文解读] Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case

Alina Beygelzimer, Dávid Pál+4 more|arXiv (Cornell University)|Feb 6, 2019

Advanced Bandit Algorithms Research参考文献 31被引用 3

一句话总结

本文提出了在仅提供预测正确性二元反馈的bandit反馈设置下，针对在线多分类线性分类问题的高效算法。它引入了两种新算法：一种在强线性可分条件下达到近似最优的错误边界 $O(K/\gamma^2)$；另一种在弱可分条件下实现与维度无关的错误边界 $\widetilde{O}(2^{\sqrt{1/\gamma}\log K})$，通过核化感知机和特征映射将弱可分数据转换为高维空间中的强可分形式。

ABSTRACT

We study the problem of efficient online multiclass linear classification with bandit feedback, where all examples belong to one of $K$ classes and lie in the $d$-dimensional Euclidean space. Previous works have left open the challenge of designing efficient algorithms with finite mistake bounds when the data is linearly separable by a margin $γ$. In this work, we take a first step towards this problem. We consider two notions of linear separability: strong and weak. 1. Under the strong linear separability condition, we design an efficient algorithm that achieves a near-optimal mistake bound of $O\left( K/γ^2 ight)$. 2. Under the more challenging weak linear separability condition, we design an efficient algorithm with a mistake bound of $\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$. Our algorithm is based on kernel Perceptron, which is inspired by the work of (Klivans and Servedio, 2008) on improperly learning intersection of halfspaces.

研究动机与目标

• 解决在bandit反馈设置下，设计具有有限错误边界的高效算法这一开放问题，适用于在线多分类线性分类。
• 解决弱线性可分性带来的挑战，此前的研究缺乏具有有限错误边界的高效算法。
• 消除错误边界中对特征维度 $d$ 的显式依赖，回答Kakade等人（2008年）提出的一个开放问题。
• 实现计算高效的算法，其时间复杂度在 $K$、$d$、$1/\gamma$ 和 $T$ 上为多项式，同时保持强大的泛化保证。

提出的方法

• 提出一种新算法（算法1），基于运行 $K$ 个二分类感知机副本（每个类别一个），以处理强线性可分性。
• 采用核化感知机方法，通过显式特征映射 $\phi$ 将弱线性可分数据转换为高维特征空间中的强可分数据。
• 设计一个正定核 $k(x,x')$，其计算时间为 $O(d)$，实现无需显式投影到特征空间即可高效计算核函数。
• 利用核化算法，使错误边界依赖于变换后空间中的间隔，该间隔由原始弱间隔 $\gamma$ 推导得出。
• 应用截断几何分布分析，以在具有延迟反馈的对抗性设置下界定向期望错误数。
• 利用条件期望的塔性质与概率下界，推导出错误复杂度的最坏情况下的下界。

实验结果

研究问题

• RQ1 在bandit反馈设置下，能否设计出在强线性可分条件下具有有限错误边界的高效算法？
• RQ2 在弱线性可分条件下，能否实现与输入维度 $d$ 无关的有限错误边界？
• RQ3 能否构建一个计算高效的算法，使其在弱可分情况下仍保持近似最优的错误边界？
• RQ4 在bandit多分类分类设置下，错误边界与计算效率之间最优权衡是什么？
• RQ5 如何利用核方法将弱可分数据转换为强可分数据，以实现高效学习？

主要发现

• 在强线性可分条件下，所提算法达到 $O(K/\gamma^2)$ 的错误边界，该结果近似最优，且与信息论下界仅相差一个常数因子。
• 在弱线性可分条件下，算法实现错误边界 $\min(2^{\widetilde{O}(K\log^2(1/\gamma))}, 2^{\widetilde{O}(\sqrt{1/\gamma}\log K)})$，该边界与维度无关，优于先前工作。
• 该算法计算高效，每轮的时间与空间复杂度均为 $O(dK)$，适用于大规模 $K$ 与 $d$。
• 核映射将弱可分性转化为高维空间中的强可分性，从而支持高效基于感知机的学习。
• 证明了在强可分情况下，任何算法的错误边界下界为 $\Omega(K(R/\gamma)^2)$，表明错误边界中 $O(K)$ 因子在bandit反馈下不可避免。
• 分析确认，与全信息设置相比，错误边界中多出的 $O(K)$ 因子是必要的，原因在于缺乏完整标签反馈。