[论文解读] Gamification of Pure Exploration for Linear Bandits

Rémy Degenne, Pierre Ménard+2 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Bandit Algorithms Research被引用 23

一句话总结

本文提出了线性 bandit 纯探索问题中首个渐近最优的固定置信度算法，通过一种新颖的博弈论视角，统一了 G-最优性、归纳最优性与渐近最优性。通过将问题重新表述为两人零和博弈，并避免完整最优设计计算，所提算法在绕过已知会阻碍先前方法的病态实例的同时，实现了最小样本复杂度。

ABSTRACT

We investigate an active pure-exploration setting, that includes best-arm identification, in the context of linear stochastic bandits. While asymptotically optimal algorithms exist for standard multi-arm bandits, the existence of such algorithms for the best-arm identification in linear bandits has been elusive despite several attempts to address it. First, we provide a thorough comparison and new insight over different notions of optimality in the linear case, including G-optimality, transductive optimality from optimal experimental design and asymptotic optimality. Second, we design the first asymptotically optimal algorithm for fixed-confidence pure exploration in linear bandits. As a consequence, our algorithm naturally bypasses the pitfall caused by a simple but difficult instance, that most prior algorithms had to be engineered to deal with explicitly. Finally, we avoid the need to fully solve an optimal design problem by providing an approach that entails an efficient implementation.

研究动机与目标

• 为线性 bandit 中最佳臂识别的长期挑战——即设计渐近最优的固定置信度算法——提供解决方案。
• 在线性 bandit 框架内统一并澄清不同形式的最优性概念——G-最优性、归纳最优性与渐近最优性。
• 开发一种高效算法，避免求解计算上不可行的完整最优实验设计问题。
• 证明所提方法能自然地避开一个已知的病态实例，该实例曾迫使先前算法必须进行特殊设计。

提出的方法

• 将线性 bandit 中的纯探索问题重新表述为智能体与自然之间的两人零和博弈，从而实现对最优性的博弈论分析。
• 提出一种新颖的采样规则，动态平衡基于置信区间和估计最优臂比例的探索，灵感来源于 Track-and-Stop 原则。
• 采用基于 Frank-Wolfe 的启发式方法近似最优分配权重，无需求解完整最优设计问题，显著降低计算成本。
• 提出 Saddle Frank-Wolfe 变体，通过在归纳集合上引入对偶更新，提升一般 AB-设计下的收敛性与稳定性。
• 实现算法的贪心、增量版本，避免昂贵的优化步骤，同时保持实际性能。
• 提供关于 δ-正确性与样本复杂度的理论保证，证明在固定置信度设置下具有渐近最优性。

实验结果

研究问题

• RQ1 能否为线性 bandit 设计一种固定置信度的纯探索算法，实现渐近最优性，同时无需完整求解最优设计问题？
• RQ2 在线性 bandit 设置下，G-最优性、归纳最优性与渐近最优性这几种最优性概念之间有何关联？
• RQ3 线性 bandit 中最优采样规则的结构特性是什么？如何利用这些特性避免计算昂贵的最优设计计算？
• RQ4 所提算法是否能自然地避开曾迫使先前方法引入临时修复措施的病态实例？
• RQ5 能否使用高效、贪心的最优设计近似方法，在实践中实现接近最优的样本复杂度？

主要发现

• 所提算法是首个在固定置信度线性 bandit 纯探索中实现渐近最优性的算法，其样本复杂度达到理论下界。
• 通过博弈论重构与高效的 Frank-Wolfe 风格近似，算法避免了完整最优设计的计算需求。
• 实验结果表明，该算法在样本效率方面优于现有方法（如 LinGapE 和 XY-Adaptive），尤其在高维设置下表现更优。
• Saddle Frank-Wolfe 启发式方法在包括 B⋆(θ) 和 Bdir 在内的各类归纳集合上均表现出稳定收敛，即使标准 Frank-Wolfe 失败时亦然。
• 该算法自然避开了一个已知的病态实例，该实例曾迫使先前算法必须加入临时修复措施，表明其具有更稳健的理论基础。
• 贪心、增量版本的算法在大幅降低计算开销的同时保持了强劲性能，使其适用于实际部署。