[论文解读] How to Beat the Adaptive Multi-Armed Bandit

Varsha Dani, Thomas P. Hayes|ArXiv.org|Feb 14, 2006

Advanced Bandit Algorithms Research参考文献 11被引用 5

一句话总结

本文提出了针对自适应多臂赌博机问题的 'Accounts' 算法，其中收益可依赖于先前的动作。该算法在高概率下实现了 O(√(TK log K)) 的遗憾，与最优的全信息界限一致，并显著优于以往非自适应设置下的高概率界限 O(T^{2/3})。该方法采用一种新颖的自适应概率更新规则，结合指数衰减控制，以在对抗性反馈下保持探索与利用之间的平衡。

ABSTRACT

The multi-armed bandit is a concise model for the problem of iterated decision-making under uncertainty. In each round, a gambler must pull one of $K$ arms of a slot machine, without any foreknowledge of their payouts, except that they are uniformly bounded. A standard objective is to minimize the gambler's regret, defined as the gambler's total payout minus the largest payout which would have been achieved by any fixed arm, in hindsight. Note that the gambler is only told the payout for the arm actually chosen, not for the unchosen arms. Almost all previous work on this problem assumed the payouts to be non-adaptive, in the sense that the distribution of the payout of arm $j$ in round $i$ is completely independent of the choices made by the gambler on rounds $1, \dots, i-1$. In the more general model of adaptive payouts, the payouts in round $i$ may depend arbitrarily on the history of past choices made by the algorithm. We present a new algorithm for this problem, and prove nearly optimal guarantees for the regret against both non-adaptive and adaptive adversaries. After $T$ rounds, our algorithm has regret $O(\sqrt{T})$ with high probability (the tail probability decays exponentially). This dependence on $T$ is best possible, and matches that of the full-information version of the problem, in which the gambler is told the payouts for all $K$ arms after each round. Previously, even for non-adaptive payouts, the best high-probability bounds known were $O(T^{2/3})$, due to Auer, Cesa-Bianchi, Freund and Schapire. The expected regret of their algorithm is $O(T^{1/2}) for non-adaptive payouts, but as we show, $Ω(T^{2/3})$ for adaptive payouts.

研究动机与目标

• 解决在对手基于先前决策自适应选择收益时，最小化多臂赌博机设置下遗憾的挑战。
• 弥合赌博机设置下期望遗憾界限与高概率遗憾保证之间的差距，尤其是在自适应对手的情况下。
• 设计一种算法，不仅在非自适应对手下表现最优，也能在收益依赖于先前选择的自适应对手下表现最优。
• 证明在赌博机设置下，自适应对手无法使遗憾增加超过常数因子，相较于非自适应对手。

提出的方法

• ‘Accounts’ 算法使用一种新颖的概率更新机制，根据观测到的奖励和控制参数 α 动态调整动作选择概率，以保持探索与利用之间的平衡。
• 它引入了一种状态依赖的更新规则，确保任一动作的选择概率收敛至目标值 α，同时控制偏差的漂移并实现指数衰减。
• 该算法采用两阶段反馈机制：跟踪累积奖励，并使用基于阈值的机制控制选择概率的变化速率。
• 它利用集中不等式和鞅论证来界定遗憾的尾部概率，确保高概率性能。
• 该方法引入了一个参数化的代价序列族 V(Exp3(γ,η), α)，用于构建自适应对手，以暴露先前算法的弱点。
• 理论分析采用循环遍历模型，分析在反复穿越阈值 α 时遗憾的累积过程，推导出期望和方差分量的界限。

实验结果

研究问题

• RQ1 在存在自适应对手的情况下，能否设计出达到最优全信息性能的高概率遗憾界限的赌博机算法？
• RQ2 自适应对手在赌博机设置下，最多可使遗憾增加多少，相较于非自适应对手？
• RQ3 在非自适应对手的高概率设置下，能否将遗憾界限从 O(T^{2/3}) 改进为 O(√(TK log K))？
• RQ4 Exp3 算法对自适应对手是否依然稳健，还是可能被强制导致 Ω(T^{2/3}) 的期望遗憾？
• RQ5 能否设计出一种单一算法，在非自适应和自适应收益模型下均表现最优？

主要发现

• ‘Accounts’ 算法以至少 1 − 1000K√α exp(−√α log K / 8) 的概率实现遗憾 R ≤ (α + 7)√(TK ln K)，证明了其高概率性能。
• ‘Accounts’ 算法的期望遗憾为 O(√(TK log K))，与全信息设置下的已知最优界限一致。
• 该算法的高概率遗憾界限在对数因子内是最优的，因为 √T 依赖关系在信息论上是必要的。
• 本文构造了一类自适应代价序列，使得 Exp3(γ,η) 的期望遗憾达到 Ω(T^{2/3})，展示了先前算法在自适应对手下的局限性。
• 当 K=2 且 T=2 时，自适应代价可使期望遗憾达到 2/3，而非自适应代价仅 1/2，表明自适应对手具有更强的破坏力。
• 分析表明，选择频率较低的动作的遗憾方差增长为 Θ(1/α²)，当 α 较小时，这会贡献于下界。