[论文解读] Structure Adaptive Algorithms for Stochastic Bandits

Rémy Degenne, Han Shao+1 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Bandit Algorithms Research被引用 11

一句话总结

本文提出了一类结构自适应的随机多臂赌博机算法，通过利用迭代对偶点求解器，实现了渐近最优性与有限时间 regret 边界，避免了代价高昂的完整对偶点预言机。该方法高效地利用了结构约束（如稀疏性、单峰性与线性），同时保持了较低的每轮计算成本，并匹配实例相关的下界。

ABSTRACT

We study reward maximisation in a wide class of structured stochastic multi-armed bandit problems, where the mean rewards of arms satisfy some given structural constraints, e.g. linear, unimodal, sparse, etc. Our aim is to develop methods that are flexible (in that they easily adapt to different structures), powerful (in that they perform well empirically and/or provably match instance-dependent lower bounds) and efficient in that the per-round computational burden is small. We develop asymptotically optimal algorithms from instance-dependent lower-bounds using iterative saddle-point solvers. Our approach generalises recent iterative methods for pure exploration to reward maximisation, where a major challenge arises from the estimation of the sub-optimality gaps and their reciprocals. Still we manage to achieve all the above desiderata. Notably, our technique avoids the computational cost of the full-blown saddle point oracle employed by previous work, while at the same time enabling finite-time regret bounds. Our experiments reveal that our method successfully leverages the structural assumptions, while its regret is at worst comparable to that of vanilla UCB.

研究动机与目标

• 开发能够适应多种结构约束（如稀疏性、单峰性、线性）而不牺牲性能的赌博机算法。
• 通过匹配实例相关的 regret 下界，实现渐近最优性。
• 与依赖完整对偶点预言机的先前结构自适应方法相比，降低计算开销。
• 提供明确的有限时间 regret 边界，以反映结构问题实例的复杂性。

提出的方法

• 该方法使用迭代对偶点求解器，近似求解由实例相关的 regret 下界导出的对偶问题。
• 提出一种新颖的方法来估计次优性差距及其倒数，这对平衡探索与利用至关重要。
• 一个关键创新是使用交替最小化预言机（alt-min oracle），以在结构约束下高效计算局部解。
• 算法根据估计的差距和结构约束动态调整动作选择，实现自适应探索。
• 针对不同结构（如单峰、稀疏、线性），alt-min oracle 采用定制化的优化技术实现：单峰结构使用 PAVA，Lipschitz 和单纯形结构使用凸二次规划求解器，线性约束则使用闭式投影。
• 该方法避免在每一步求解完整的极小极大问题，显著降低了计算成本，同时仍实现最优 regret。

实验结果

研究问题

• RQ1 能否设计出既实现渐近最优性又具备有限时间 regret 边界的结构自适应赌博机算法？
• RQ2 如何在不牺牲 regret 性能的前提下降低结构自适应算法的计算成本？
• RQ3 迭代对偶点求解器能否有效用于结构化赌博机中的次优性差距估计？
• RQ4 在实际中，结构假设（如稀疏性、单峰性）能在多大程度上被利用以减少 regret？
• RQ5 在不同结构下，所提出的算法与标准 UCB 在 regret 和自适应性方面相比如何？

主要发现

• 所提出的算法实现了渐近最优性，随着 T 增大，regret 收敛至实例相关的下界 V^M(µ)。
• 建立了有限时间 regret 边界，表明 regret 的阶为 V^M(µ) ln T，且依赖于问题复杂度的时长。
• 在所有测试的结构（稀疏、单峰、Lipschitz、线性及单纯形）中，该方法成功利用了结构假设，与原始 UCB 相比显著降低了 regret。
• 计算成本显著低于依赖完整对偶点预言机的先前结构自适应算法。
• 在实验中，初始阶段 regret 与 UCB 相当，但一旦结构信息被有效利用，regret 迅速改善。
• 该方法以远低于先前方法的每轮计算成本实现了此性能，尤其在复杂结构下优势显著。