[论文解读] Fair Contextual Multi-Armed Bandits: Theory and Experiments

Yifang Chen, Alex Cuellar+4 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Bandit Algorithms Research参考文献 21被引用 9

一句话总结

该论文提出了一种公平的上下文多臂赌博机算法，确保每位用户以最低保证频率被选择（公平性约束），同时利用上下文信息提升性能。该方法采用带自适应正则化的Follow-the-Regularized-Leader（FTRL）框架，在对抗性损失生成下仍能实现次线性遗憾和有界公平性违背，且通过实证验证表明在异质用户情境下实现了更优的公平性-性能权衡。

ABSTRACT

When an AI system interacts with multiple users, it frequently needs to make allocation decisions. For instance, a virtual agent decides whom to pay attention to in a group setting, or a factory robot selects a worker to deliver a part. Demonstrating fairness in decision making is essential for such systems to be broadly accepted. We introduce a Multi-Armed Bandit algorithm with fairness constraints, where fairness is defined as a minimum rate that a task or a resource is assigned to a user. The proposed algorithm uses contextual information about the users and the task and makes no assumptions on how the losses capturing the performance of different users are generated. We provide theoretical guarantees of performance and empirical results from simulation and an online user study. The results highlight the benefit of accounting for contexts in fair decision making, especially when users perform better at some contexts and worse at others.

研究动机与目标

• 解决在将任务分配给多个用户时，用户在不同情境下表现不同时的AI决策公平性问题。
• 设计一种多臂赌博机算法，对每位用户强制执行最低选择率（公平性约束），且不假设损失分布为固定或平稳。
• 结合用户和任务的上下文信息以提升性能，同时保持公平性。
• 即使上下文分布未知，也提供关于遗憾和公平性违背的理论保证。
• 通过模拟和涉及文化多样性参与者的在线用户研究，对方法进行实证验证。

提出的方法

• 使用基于熵函数 $\psi(p) = p\ln p$ 的正则化项的Follow-the-Regularized-Leader（FTRL）框架，以平衡探索与公平性。
• 采用基于轮次的学习机制，自适应调节正则化参数 $\eta_k = \sqrt{M\ln K / (\tau_k K)}$，随时间优化策略分布。
• 构建损失估计器 $\hat{l}_t(i) = l_t(i)/(p_t^{j_t}(i) \cdot \mathbf{1}\{i_t = i\})$，以处理赌博机设置中的随机反馈。
• 维护一个可行集 $\Omega_k$，其中策略分布满足公平性约束 $\sum_j q(j)p^j(i) \geq v$ 对所有动作 $i$ 成立。
• 采用两阶段方法：首先从数据中估计上下文分布 $q$，然后在每个轮次求解约束优化问题以最小化遗憾。
• 使用公平性违背度量 $\text{Vio} = \mathbb{E}\left[\frac{1}{T}\sum_t \max\left\{0, v - \min_i \sum_j q(j)p_t^j(i)\right\}\right]$ 来量化约束的遵守程度。

实验结果

研究问题

• RQ1 当用户在不同上下文中的表现具有依赖性时，如何在上下文多臂赌博机中正式实现公平性？
• RQ2 在对抗性损失生成下，赌博机算法能否在确保所有用户最低选择率的同时保持次线性遗憾？
• RQ3 在任务分配中，引入上下文信息如何影响性能与公平性的权衡？
• RQ4 当用户在不同上下文中表现更优时，公平性约束对性能有何影响？
• RQ5 在非平稳或对抗性环境中，该算法在不依赖损失生成的统计假设下表现如何？

主要发现

• 所提算法实现 $O(\sqrt{TMK\ln K})$ 遗憾和 $O\left(\sqrt{\frac{M\ln(TM)}{T}} + \frac{M\ln(TM)\ln T}{T}\right)$ 公平性违背，确保了强性能与公平性。
• 在某一用户在所有上下文中均占优的情境下，提高公平性会导致性能下降，证实了内在的权衡关系。
• 当某一高性能用户出现在频繁出现的上下文中时，若上下文分布支持最低选择率，公平性约束对性能影响极小。
• 在对抗性环境中，公平性可能具有优势——特别是对如Fair UCB等乐观算法而言——通过减少对乐观边界过度利用来提升表现。
• 当用户在不同上下文中表现出互补优势时，上下文感知算法显著优于非上下文基线，用户研究已证实此结论。
• 用户研究表明，对于在不同上下文中表现更优的用户对，Fair CB实现了最佳性能，凸显了上下文感知公平性的重要价值。