[论文解读] Irrevocable Multi-Armed Bandit Policies

Vivek F. Farias, Ritesh Madan|ArXiv.org|Jun 25, 2008

Advanced Bandit Algorithms Research参考文献 10被引用 4

一句话总结

本文提出了一种不可逆的多臂赌博机启发式算法，该算法按照固定的优先级顺序选择臂，且永不重新激活已被放弃的臂，从而确保操作变更最小化。研究表明，性能损失（即不可逆性的代价）相对于具有完全探索自由的最优策略，其上界为1/8，计算实验表明在大规模问题中仅造成5–10%的损失。

ABSTRACT

This paper considers the multi-armed bandit problem with multiple simultaneous arm pulls. We develop a new `irrevocable' heuristic for this problem. In particular, we do not allow recourse to arms that were pulled at some point in the past but then discarded. This irrevocable property is highly desirable from a practical perspective. As a consequence of this property, our heuristic entails a minimum amount of `exploration'. At the same time, we find that the price of irrevocability is limited for a broad useful class of bandits we characterize precisely. This class includes one of the most common applications of the bandit model, namely, bandits whose arms are `coins' of unknown biases. Computational experiments with a generative family of large scale problems within this class indicate losses of up to 5 to 10% relative to an upper bound on the performance of an optimal policy with no restrictions on exploration. We also provide a worst-case theoretical analysis that shows that for this class of bandit problems, the price of irrevocability is uniformly bounded: our heuristic earns expected rewards that are always within a factor of 1/8 of an optimal policy with no restrictions on exploration. In addition to being an indicator of robustness across all parameter regimes, this analysis sheds light on the structural properties that afford a low price of irrevocability.

研究动机与目标

• 设计一种实用的多臂赌博机策略，通过禁止重新激活已被放弃的臂来最小化操作变更。
• 分析强制实施此类结构约束所带来的性能代价——即‘不可逆性代价’。
• 开发一种计算高效的算法，用于计算近似最优的不可逆策略。
• 在大规模问题上评估该启发式算法的性能，并在不同参数范围内建立其理论鲁棒性。

提出的方法

• 打包启发式算法基于‘价值与实现价值所需时间’的比值对臂进行排序，并按固定顺序选择臂。
• 一旦某臂被放弃，将永不重新激活，从而强制实施不可逆约束。
• 使用修改后的奖励函数，通过松弛线性规划（RLP）求解器计算在不可逆约束下的最优策略。
• RLP求解器算法可在2ε范围内获得可行解，时间复杂度为O(nS²AT log(r_max kT/ε))。
• 该方法利用了赌博机臂的收益递减特性，尤其在伯努利偏差模型中表现显著。
• 计算实验使用生成式的大规模问题族来评估实际性能。

实验结果

研究问题

• RQ1 与具有完全探索自由的最优策略相比，不可逆策略的最坏情况性能损失（即不可逆性代价）是多少？
• RQ2 在动态组合选择等实际场景中，不可逆启发式算法能否实现近似最优性能？
• RQ3 所提出的启发式算法的性能如何随问题规模和参数范围变化？
• RQ4 是否存在某些赌博机问题类别，使得不可逆性仅导致有界的性能损失？
• RQ5 能否设计出高效的算法，在不依赖计算量大的索引启发式方法的前提下，计算出表现良好的不可逆策略？

主要发现

• 不可逆性的代价被统一有界于1/8，意味着该启发式算法始终能获得至少最优期望奖励的12.5%。
• 在大规模问题的计算实验中，该启发式算法相对于最优性能上界的损失仅为5–10%。
• RLP求解器算法可在2ε范围内获得可行解，对于最大规模实例，笔记本电脑上的总计算时间在几分钟内。
• 在计算效率方面，打包启发式算法优于标准索引启发式方法，同时保持了强劲的实证性能。
• 臂的收益递减特性——尤其在硬币偏差赌博机中——使得在不可逆约束下仍能保持较低的性能损失。
• 不可逆性这一结构约束不仅具有实际可行性，且在理论上也具有鲁棒性，适用于现实世界应用，如动态零售组合选择和顺序药物试验。