[论文解读] Combinatorial Sleeping Bandits with Fairness Constraints

Fengjiao Li, Jia Liu+1 more|arXiv (Cornell University)|Jan 15, 2019

Advanced Bandit Algorithms Research参考文献 31被引用 8

一句话总结

本文提出了一种新颖的组合睡眠MAB模型，带公平性约束（CSMAB-F），以解决涉及组合动作、不可用臂（睡眠）以及每条臂的最低选择比例要求的实际优化问题。该研究引入了具有公平性保障的学习算法（LFG），结合UCB进行探索-利用，以及虚拟队列实现公平性，实现了可行性-最优性，并获得了时间平均遗憾的上界 $\frac{N}{2\eta} + \frac{\beta_1\sqrt{mNT\log T} + \beta_2N}{T}$，通过调节 $\eta$ 观测到遗憾与收敛速度之间的经验权衡。

ABSTRACT

The multi-armed bandit (MAB) model has been widely adopted for studying many practical optimization problems (network resource allocation, ad placement, crowdsourcing, etc.) with unknown parameters. The goal of the player here is to maximize the cumulative reward in the face of uncertainty. However, the basic MAB model neglects several important factors of the system in many real-world applications, where multiple arms can be simultaneously played and an arm could sometimes be "sleeping". Besides, ensuring fairness is also a key design concern in practice. To that end, we propose a new Combinatorial Sleeping MAB model with Fairness constraints, called CSMAB-F, aiming to address the aforementioned crucial modeling issues. The objective is now to maximize the reward while satisfying the fairness requirement of a minimum selection fraction for each individual arm. To tackle this new problem, we extend an online learning algorithm, UCB, to deal with a critical tradeoff between exploitation and exploration and employ the virtual queue technique to properly handle the fairness constraints. By carefully integrating these two techniques, we develop a new algorithm, called Learning with Fairness Guarantee (LFG), for the CSMAB-F problem. Further, we rigorously prove that not only LFG is feasibility-optimal, but it also has a time-average regret upper bounded by $\frac{N}{2η}+\frac{β_1\sqrt{mNT\log{T}}+β_2 N}{T}$, where N is the total number of arms, m is the maximum number of arms that can be simultaneously played, T is the time horizon, $β_1$ and $β_2$ are constants, and $η$ is a design parameter that we can tune. Finally, we perform extensive simulations to corroborate the effectiveness of the proposed algorithm. Interestingly, the simulation results reveal an important tradeoff between the regret and the speed of convergence to a point satisfying the fairness constraints.

研究动机与目标

• 解决现有MAB模型缺乏统一框架，无法同时整合组合动作、睡眠臂和公平性约束的问题，以应对实际应用场景。
• 构建一种新的CSMAB-F框架，其中每条臂必须在至少一定比例的时间内被选择，确保公平性的同时最大化奖励。
• 设计一种在线学习算法，同时处理探索-利用权衡与公平性约束的强制执行。
• 为所提出的算法证明可行性-最优性与遗憾上界等理论保证。
• 通过大量仿真验证算法性能，揭示遗憾与收敛至公平性约束速度之间的权衡。

提出的方法

• CSMAB-F模型通过允许每轮最多选择 $m$ 条臂，扩展了标准MAB模型，支持组合动作，同时允许部分臂在特定轮次中处于睡眠状态（不可用），并为每条臂施加最低选择比例约束。
• 基于上界置信区间（UCB）的在线学习算法被扩展，以在存在睡眠臂的情况下管理探索-利用权衡。
• 采用虚拟队列技术，通过动态惩罚机制强制执行公平性约束，防止违反最低选择比例。
• LFG算法整合UCB与虚拟队列，利用可调参数 $\eta$ 平衡奖励最大化与公平性强制执行。
• 遗憾分析基于时间平均上界，其依赖于 $N$、$m$、$T$、$\beta_1$、$\beta_2$ 和 $\eta$，其中 $\eta$ 控制遗憾与收敛速度之间的权衡。
• 在 $T = 2 \times 10^4$ 轮内进行仿真，评估不同 $\eta$ 值下LFG的性能，并与无公平性意识的LLRS基线方法进行比较。

实验结果

研究问题

• RQ1 如何设计一个统一的MAB框架，以同时建模组合动作、睡眠臂和公平性约束？
• RQ2 何种算法方法能有效平衡在存在睡眠臂和组合选择情况下的奖励最大化与公平性强制执行？
• RQ3 参数 $\eta$ 的调节如何影响时间平均遗憾与收敛至公平性约束速度之间的权衡？
• RQ4 在所提出的CSMAB-F模型中，可行性与遗憾的理论保证可证明为何种程度？
• RQ5 所推导的遗憾上界能否通过实验验证？与实际仿真结果相比，其紧致性如何？

主要发现

• LFG实现了可行性-最优性，在不同 $\eta$ 值下始终满足所有臂的最低选择比例要求。
• 仿真结果表明，增大 $\eta$ 可降低遗憾，当 $\eta \geq 100$ 时遗憾接近零；而 $\eta = 1000$ 虽达到最低遗憾，但收敛最慢。
• LLRS（无公平性意识的基线）的遗憾低于LFG，但违反了公平性约束——具体表现为臂1的选择比例下降至0.4 < 0.5，低于其最低要求。
• 当 $\eta = 100$ 时，LFG在低遗憾与快速收敛之间实现了良好平衡，在实际权衡意义上优于 $\eta = 1$ 和 $\eta = 1000$。
• 仿真中观察到的遗憾呈 $\log T / T$ 趋势，而非理论上的 $\sqrt{\log T / T}$ 上界，表明该上界不够紧致。
• 理论遗憾上界为 $\frac{N}{2\eta} + \frac{\beta_1\sqrt{mNT\log T} + \beta_2N}{T}$，其中第一项在 $T$ 较大时占主导，第二项随 $T$ 增大而减小。