[论文解读] Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners

Mohammadi Zaki, Avinash Mohan+1 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Bandit Algorithms Research参考文献 15被引用 8

一句话总结

该论文提出了 PELEG，一种用于线性 bandits 中最优臂识别的显式且可证明最优的算法，其使用无遗憾学习器而无需最小最大预言机。通过将问题建模为两玩家零和博弈，并利用在线学习迭代收敛至其鞍点，PELEG 实现了阶最优的样本复杂度，且不依赖于最小最大预言机，其样本复杂度与理论下界仅相差常数因子。

ABSTRACT

We study the problem of best arm identification in linearly parameterised multi-armed bandits. Given a set of feature vectors $\mathcal{X}\subset\mathbb{R}^d,$ a confidence parameter $δ$ and an unknown vector $θ^*,$ the goal is to identify $\arg\max_{x\in\mathcal{X}}x^Tθ^*$, with probability at least $1-δ,$ using noisy measurements of the form $x^Tθ^*.$ For this fixed confidence ($δ$-PAC) setting, we propose an explicitly implementable and provably order-optimal sample-complexity algorithm to solve this problem. Previous approaches rely on access to minimax optimization oracles. The algorithm, which we call the extit{Phased Elimination Linear Exploration Game} (PELEG), maintains a high-probability confidence ellipsoid containing $θ^*$ in each round and uses it to eliminate suboptimal arms in phases. PELEG achieves fast shrinkage of this confidence ellipsoid along the most confusing (i.e., close to, but not optimal) directions by interpreting the problem as a two player zero-sum game, and sequentially converging to its saddle point using low-regret learners to compute players' strategies in each round. We analyze the sample complexity of PELEG and show that it matches, up to order, an instance-dependent lower bound on sample complexity in the linear bandit setting. We also provide numerical results for the proposed algorithm consistent with its theoretical guarantees.

研究动机与目标

• 设计一种显式、可实现的算法，用于线性 bandits 中的最优臂识别，实现最优样本复杂度。
• 消除对最小最大优化预言机的依赖，因其在实际中计算不明确。
• 实现与已知信息论下界一致的实例最优样本复杂度。
• 为所提算法提供清晰的计算成本分析。
• 将博弈论方法从非结构化 bandits 扩展至结构化的线性 bandit 设置。

提出的方法

• 该算法将样本复杂度下界中的核心最小最大优化问题解释为两玩家零和博弈。
• 利用无遗憾在线学习子程序来近似博弈的鞍点，避免直接求解最小最大问题。
• 在每轮中维护并更新一个包含真实参数 $\theta^*$ 的置信椭球体。
• 基于缩小的置信集和基于博弈论的方向选择，在各阶段中剔除次优臂。
• 阶段长度通过使用最小遗憾策略和置信边界自适应确定。
• 停止准则避免与一个球体相交，从而实现阶段终止的闭式计算。

实验结果

研究问题

• RQ1 是否能够使用显式、可实现的算法解决线性 bandits 中的最优臂识别问题，且其样本复杂度与理论下界一致？
• RQ2 是否可能用无遗憾学习子程序替代最小最大预言机，同时保持最优性？
• RQ3 如何利用最小最大问题的博弈论解释来设计自适应采样策略？
• RQ4 所提算法的精确样本复杂度是多少？是否与已知的实例相关下界一致？
• RQ5 该算法的计算成本是否可以被清晰量化并实现实际应用？

主要发现

• PELEG 实现了阶最优的样本复杂度，与实例相关的下界仅相差常数因子。
• 该算法的样本复杂度满足 $\tau \leq \left(2048\frac{\log_{2}(1/\Delta_{\text{min}})}{D_{\theta^{*}}}\left[\frac{(\log((\log_{2}(1/\Delta_{\text{min}}})^2K^2/\delta))^2\log K}{(\sqrt{2}-1)^2C^2}\right]\right) + \left(256\frac{\log_{2}(1/\Delta_{\text{min}})}{D_{\theta^{*}}}\log((\log_{2}(1/\Delta_{\text{min}}})^2K^2/\delta)\right)$。
• 与先前工作不同，该算法无需高精度求解最小最大问题或对整数分配进行舍入。
• 数值结果证实，PELEG 的样本复杂度与理论预测一致。
• 使用无遗憾学习器使得无需预言机访问即可实现实用且自适应的采样策略。
• 该方法成功将博弈论方法从非结构化问题推广至结构化的线性 bandit 问题。