[论文解读] Multi-Armed Bandits with Fairness Constraints for Distributing Resources to Human Teammates

Houston Claure, Yifang Chen+3 more|arXiv (Cornell University)|Jun 30, 2019

Advanced Bandit Algorithms Research参考文献 61被引用 4

一句话总结

本文提出了一种公平性约束的多臂赌博机算法，用于机器人在与人类队友协作时分配资源（例如注意力、零件）并随时间学习其技能水平。通过为每位队友设定最低选择率，该算法在不损害团队整体表现的前提下，提升了信任度，尤其增强了低绩效个体的信任感，这一结论在一项大规模的俄罗斯方块用户研究中得到验证，研究设置了25%、33%和50%的公平性约束。

ABSTRACT

How should a robot that collaborates with multiple people decide upon the distribution of resources (e.g. social attention, or parts needed for an assembly)? People are uniquely attuned to how resources are distributed. A decision to distribute more resources to one team member than another might be perceived as unfair with potentially detrimental effects for trust. We introduce a multi-armed bandit algorithm with fairness constraints, where a robot distributes resources to human teammates of different skill levels. In this problem, the robot does not know the skill level of each human teammate, but learns it by observing their performance over time. We define fairness as a constraint on the minimum rate that each human teammate is selected throughout the task. We provide theoretical guarantees on performance and perform a large-scale user study, where we adjust the level of fairness in our algorithm. Results show that fairness in resource distribution has a significant effect on users' trust in the system.

研究动机与目标

• 解决在人机协作团队中因资源分配不均而削弱信任的挑战。
• 在多臂赌博机框架中，将公平性形式化为对每位人类队友的最低选择率约束。
• 开发一种理论算法，平衡队友技能水平的学习与公平性约束。
• 评估公平性对人类对信任感及团队表现感知的影响。
• 证明资源分配的公平性可增强信任，同时不降低整体团队表现。

提出的方法

• 将资源分配问题建模为多臂赌博机问题，其中各手臂代表人类队友，随机奖励反映其技能水平。
• 提出一种基于随机UCB的算法，确保每条手臂在期望上至少以最低频率被拉动。
• 引入一种确定性变体，确保在所有时间点严格遵守最低拉动频率。
• 定义一种新的遗憾度量，考虑公平性约束，并提供理论上的遗憾边界。
• 采用基于俄罗斯方块的用户研究，根据玩家表现和公平性约束，由算法分配方块批次给两名玩家。
• 设置三种公平性条件（25%、33%、50%），以改变最低分配率，并评估感知与表现结果。

实验结果

研究问题

• RQ1 为每位队友强制执行最低选择率，如何影响用户对协作系统中公平性和信任的感知？
• RQ2 在高绩效队友被选择频率较低的情况下，资源分配的公平性是否会影响团队表现？
• RQ3 多臂赌博机算法能否在理论约束下保证公平性的同时维持高水平的团队表现？
• RQ4 与高绩效队友相比，低绩效队友在资源分配受约束时如何感知公平性？
• RQ5 感知到的公平性在多大程度上中介了人们对自主系统资源分配决策的信任？

主要发现

• 在33%公平性条件下的参与者报告了显著更高的系统信任度，尤其在低绩效玩家中表现明显。
• 尽管选择较强玩家的频率较低，团队表现（以中位数得分衡量）随公平性水平提高而改善，50%条件下的中位数得分最高。
• 由于强弱玩家之间轮换分配的差距较大，25%条件下的感知公平性显著较低；而50%条件下的参与度均等，且感知公平性更高。
• 在不同公平性条件下，团队整体表现无显著下降，与假设“公平性降低表现”相矛盾。
• 研究发现，公平性感知与参与度的感知公平性密切相关，而非仅结果均等；即使被选中频率较低，强队玩家也未认为系统不公平。
• 理论遗憾边界表明，该公平性约束算法的表现与无约束UCB相当，其遗憾程度在相同约束条件下不劣于最优基准（oracle）