[论文解读] First-order regret bounds for combinatorial semi-bandits

Gergely Neu|arXiv (Cornell University)|Feb 23, 2015

Advanced Bandit Algorithms Research参考文献 29被引用 14

一句话总结

本文提出了 FPL-TrIX，一种用于组合半-bandit在线学习的新算法，实现了与最优动作总损失 $L_T^*$ 成 $\\_\widetilde{\mathcal{O}}(\sqrt{L_T^*})$ 关系的首阶后悔界，其中 $L_T^*$ 为最佳固定动作的总损失。通过结合截断指数扰动与自适应偏差和探索机制，该方法在部分反馈的组合设置下，优于标准的 $\\_\widetilde{\mathcal{O}}(\sqrt{T})$ 忽略界。

ABSTRACT

We consider the problem of online combinatorial optimization under semi-bandit feedback, where a learner has to repeatedly pick actions from a combinatorial decision set in order to minimize the total losses associated with its decisions. After making each decision, the learner observes the losses associated with its action, but not other losses. For this problem, there are several learning algorithms that guarantee that the learner's expected regret grows as $\widetilde{O}(\sqrt{T})$ with the number of rounds $T$. In this paper, we propose an algorithm that improves this scaling to $\widetilde{O}(\sqrt{L_T^*})$, where $L_T^*$ is the total loss of the best action. Our algorithm is among the first to achieve such guarantees in a partial-feedback scheme, and the first one to do so in a combinatorial setting.

研究动机与目标

• 通过实现与最优损失 $L_T^*$ 成首阶缩放的后悔界，填补组合半-bandit 问题在后悔界方面的空白。
• 设计一种计算高效的算法，在仅观测到所选动作损失的局部反馈环境下，保持较低的后悔。
• 将此前仅在完整信息或非组合设置中已知的首阶后悔保证，扩展至更具挑战性的组合半-bandit 框架。
• 为自适应探索与偏差机制提供理论基础，以改善低损失环境下的后悔表现。

提出的方法

• 提出 FPL-TrIX，一种基于 Follow-the-Perturbed-Leader (FPL) 的算法，采用截断指数扰动以控制方差与偏差。
• 引入自适应偏差参数 $\gamma_t$，根据观测损失和估计置信度动态调整探索程度。
• 采用截断损失估计器 $\widehat{\ell}_{t,i}$ 以限制估计误差，并在高方差场景下确保稳定性。
• 通过 $\widetilde{q}_{t,i}$ 的重加权方案校正截断引入的偏差，确保损失估计的期望一致。
• 应用一种新颖的分析框架，利用扰动与置信区间相关引理，界定了估计损失的二阶矩与估计器偏差。
• 通过结合集中不等式并界定向量估计损失与真实损失之间的期望偏差，推导出后悔界。

实验结果

研究问题

• RQ1 能否将此前仅限于完整信息或非组合设置的首阶后悔界，扩展至组合半-bandit 问题？
• RQ2 在缺乏 $L_T^*$ 先验知识的情况下，自适应探索与偏差控制如何改善低损失环境下的后悔表现？
• RQ3 在部分反馈的组合设置中，为实现首阶后悔界，对 FPL 需要做出哪些修改？
• RQ4 在半-bandit 反馈下，能否在保持计算效率的同时实现 $\\_\widetilde{\mathcal{O}}(\sqrt{L_T^*})$ 的后悔界？

主要发现

• 所提出的 FPL-TrIX 算法实现了 $\\_\widetilde{\mathcal{O}}(\sqrt{L_T^*})$ 的首阶后悔界，优于标准的 $\\_\widetilde{\mathcal{O}}(\sqrt{T})$ 缩放。
• 该算法通过使用截断扰动与自适应偏差，保持了计算效率，避免了完全探索或复杂优化的需要。
• 理论分析表明，截断与自适应加权引入的偏差是被界且可控的，确保收敛至最优动作。
• 引理表明，估计损失的二阶矩被界于 $m\sum_j \widehat{\ell}_{t,j}$ 之内，这对控制后悔增长至关重要。
• 估计损失的偏差被证明最多为 $\left(\gamma_t + \beta_t d\right)\sum_j \widehat{\ell}_{t,j}$，可通过参数调优加以控制。
• 该方法对对抗性环境具有鲁棒性，且可通过小幅修改扩展至高概率边界，尽管此类边界需要已知 $L_T^*$。