[论文解读] Group Fairness in Bandit Arm Selection

Candice Schumann, Zhi Lang+2 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Bandit Algorithms Research参考文献 37被引用 5

一句话总结

本文提出 GroupFairTopInterval，一种上下文多臂老虎机算法，通过学习群体层面的偏差项来纠正臂奖励中的社会偏见，从而实现在敏感群体间的更公平资源配置。该方法提供了理论上的遗憾边界，并在合成数据集和真实世界数据集上实证验证了其在公平性和性能上的改进。

ABSTRACT

We propose a novel formulation of group fairness with biased feedback in the contextual multi-armed bandit (CMAB) setting. In the CMAB setting, a sequential decision maker must, at each time step, choose an arm to pull from a finite set of arms after observing some context for each of the potential arm pulls. In our model, arms are partitioned into two or more sensitive groups based on some protected feature(s) (e.g., age, race, or socio-economic status). Initial rewards received from pulling an arm may be distorted due to some unknown societal or measurement bias. We assume that in reality these groups are equal despite the biased feedback received by the agent. To alleviate this, we learn a societal bias term which can be used to both find the source of bias and to potentially fix the problem outside of the algorithm. We provide a novel algorithm that can accommodate this notion of fairness for an arbitrary number of groups, and provide a theoretical bound on the regret for our algorithm. We validate our algorithm using synthetic data and two real-world datasets for intervention settings wherein we want to allocate resources fairly across groups.

研究动机与目标

• 解决由于社会或测量因素导致反馈存在偏见的上下文多臂老虎机中的群体公平性问题。
• 形式化一种新的奖励与遗憾定义，以考虑受保护群体之间的潜在社会偏见。
• 开发一种算法，学习并纠正此类偏见，同时保持较低的遗憾和个体臂之间的区分能力。
• 在涉及干预场景中资源分配的合成数据与真实世界数据集上验证该方法。

提出的方法

• 提出一种新颖的奖励定义，通过估计群体层面的社会偏见项来校正观测到的奖励。
• 引入一种将敏感群体间公平性约束纳入考虑的遗憾公式化方法。
• 设计 GroupFairTopInterval 算法，利用经过偏差校正的奖励的置信上界，以平衡探索与利用。
• 采用区间估计技术，在考虑群体公平性的前提下识别最优臂。
• 使用线性模型基于历史反馈估计偏见项，假设在现实中各群体实际效果相同，尽管观测到的反馈存在偏见。
• 通过使用估计的偏见调整置信区间，将标准上下文多臂老虎机方法扩展以纳入公平性考量。

实验结果

研究问题

• RQ1 在存在反馈偏见的上下文老虎机中，群体公平性应如何正式定义？
• RQ2 算法是否能在不了解偏见大小先验知识的情况下，学习并纠正臂奖励中的社会偏见？
• RQ3 在反馈存在偏见的情况下，公平感知的老虎机算法的理论遗憾边界是什么？
• RQ4 与现有公平性方法相比，所提出的算法在公平性和性能方面表现如何？
• RQ5 该算法能否在保持公平性的同时，仍能有效区分高绩效的个体臂？

主要发现

• 所提出的 GroupFairTopInterval 算法实现了理论遗憾边界，其规模与臂的数量平方根成正比，且与偏差校正精度的倒数成正比。
• 在合成数据上的实证结果表明，与标准老虎机基线相比，该算法显著降低了群体层面的奖励差异。
• 在涉及微贷款和人才招聘的真实世界数据集中，该算法在保持具有竞争力的累积奖励的同时，实现了更优的公平性指标。
• 该算法能够从反馈中成功学习社会偏见项，从而在无需真实奖励的情况下实现校正。
• 该方法在公平性和遗憾表现上均优于临时阈值法和均匀随机群体选择法。
• 该方法对延迟或噪声较大的真实奖励反馈具有鲁棒性，适用于贷款发放或招聘等长期决策系统。