[论文解读] An Optimal Algorithm for Linear Bandits

Nicolò Cesa‐Bianchi, Sham M. Kakade|arXiv (Cornell University)|Oct 19, 2011

Advanced Bandit Algorithms Research参考文献 10被引用 4

一句话总结

该论文提出了首个在线线性Bandit优化的最优算法，在d维空间中，对于大小为N的有限动作集，实现了√(Td ln N)阶的遗憾边界；对于无限动作集，遗憾边界为d√T（忽略对数因子），两者在一般情况下均不可改进。该方法利用凸几何构造最优探索基，实现高效探索，并在该设定下匹配理论遗憾下界。

ABSTRACT

We provide the first algorithm for online bandit linear optimization whose regret after T rounds is of order sqrt{Td ln N} on any finite class X of N actions in d dimensions, and of order d*sqrt{T} (up to log factors) when X is infinite. These bounds are not improvable in general. The basic idea utilizes tools from convex geometry to construct what is essentially an optimal exploration basis. We also present an application to a model of linear bandits with expert advice. Interestingly, these results show that bandit linear optimization with expert advice in d dimensions is no more difficult (in terms of the achievable regret) than the online d-armed bandit problem with expert advice (where EXP4 is optimal).

研究动机与目标

• 开发一种在线线性Bandit优化的最优算法，其遗憾边界可被严格证明为紧致。
• 解决在高维线性Bandit设定下探索与利用之间的平衡挑战。
• 弥合现有算法与有限和无限动作集下遗憾理论下界之间的差距。
• 证明线性Bandit结合专家建议的难度与标准d臂Bandit问题在可实现遗憾方面无本质差异。

提出的方法

• 该算法利用凸几何工具构建最优探索基，以高效探索动作空间。
• 通过利用动作集的几何特性，最小化线性收益估计中的不确定性。
• 该方法确保探索沿能最大化每动作信息增益的方向进行。
• 通过动态调整探索策略，适应动作集的结构——无论是有限还是无限。
• 遗憾分析依赖于集中不等式与几何论证，以相对于最优动作的累积损失进行有界。
• 该框架被扩展以处理专家建议，通过将专家预测整合到探索机制中，而不会增加遗憾。

实验结果

研究问题

• RQ1 能否设计一种算法，使得在d维空间中有限动作集的线性Bandit问题达到最优遗憾边界？
• RQ2 当动作集为无限时，线性Bandit的最小可实现遗憾是多少？
• RQ3 如何利用凸几何在线性Bandit问题中构建最优探索基？
• RQ4 将专家建议整合到线性Bandit中是否会使其遗憾超过标准d臂Bandit的遗憾？
• RQ5 线性Bandit结合专家建议与标准d臂Bandit问题结合专家建议在难度上是否存在根本等价性？

主要发现

• 所提出的算法对d维空间中任意大小为N的有限动作集，实现了O(√(Td ln N))的遗憾边界，该边界在一般情况下不可改进。
• 对于无限动作集，该算法实现了O(d√T)的遗憾边界（忽略对数因子），与信息论下界完全匹配。
• 利用凸几何可构建最优探索基，通过最大化信息增益来最小化遗憾。
• 该算法的遗憾性能与d臂Bandit设定下EXP4算法的性能等价，表明线性结构未带来额外遗憾成本。
• 结果表明，线性Bandit结合专家建议在遗憾方面并不比标准Bandit结合专家建议更困难，两者均能达到相同的最优遗憾速率。