[论文解读] Reinforcement Learning with Fairness Constraints for Resource Distribution in Human-Robot Teams

Houston Claure, Yifang Chen+3 more|arXiv (Cornell University)|Jun 30, 2019

Advanced Bandit Algorithms Research参考文献 21被引用 15

一句话总结

本文提出了一种带有公平性约束的多臂赌博机算法，用于人机团队中的资源分配，其中机器人通过绩效反馈学习人类队友的技能水平，同时确保每位队友被选择的频率不低于最低标准。该方法通过公平性提升信任度，其有效性在大规模用户研究中得到验证，显著影响了用户感知与系统接受度。

ABSTRACT

Much work in robotics and operations research has focused on optimal resource distribution, where an agent dynamically decides how to sequentially distribute resources among different candidates. However, most work ignores the notion of fairness in candidate selection. In the case where a robot distributes resources to human team members, disproportionately favoring the highest performing teammate can have negative effects in team dynamics and system acceptance. We introduce a multi-armed bandit algorithm with fairness constraints, where a robot distributes resources to human teammates of different skill levels. In this problem, the robot does not know the skill level of each human teammate, but learns it by observing their performance over time. We define fairness as a constraint on the minimum rate that each human teammate is selected throughout the task. We provide theoretical guarantees on performance and perform a large-scale user study, where we adjust the level of fairness in our algorithm. Results show that fairness in resource distribution has a significant effect on users' trust in the system.

研究动机与目标

• 解决人机团队中动态资源分配缺乏公平性的问题，避免因偏袒高绩效成员而损害团队凝聚力。
• 将公平性形式化为在连续资源分配过程中对每位人类队友设定最低选择率约束。
• 设计一种多臂赌博机算法，能够在学习队友技能水平的同时遵守公平性约束。
• 在真实的人机交互场景中评估公平性对用户信任与系统接受度的影响。
• 为所提出的算法在公平性约束下的理论性能提供保证。

提出的方法

• 将资源分配问题建模为一个具有未知技能水平的人类队友的多臂赌博机问题。
• 引入公平性约束，强制要求每位队友的最低选择率，以防止系统性偏见。
• 采用探索-利用策略，在学习队友表现与满足公平性约束之间实现平衡。
• 引入约束优化框架，确保在整个任务过程中最低选择率得以维持。
• 应用理论分析推导在公平性约束下的性能边界，包括遗憾保证。
• 在真实世界的人类参与者用户研究中实现该算法，以评估公平性与信任动态。

实验结果

研究问题

• RQ1 为每位队友强制执行最低选择率在多大程度上影响用户对人机团队的信任？
• RQ2 机器人在维持公平性的同时，能在多大程度上通过绩效反馈学习个体队友的技能水平？
• RQ3 在动态资源分配中，性能优化与公平性之间存在何种权衡？
• RQ4 算法中不同水平的公平性如何影响用户感知与系统接受度？
• RQ5 理论上的公平性约束能否在真实的人机交互场景中有效实施？

主要发现

• 用户研究表明，公平性约束显著提高了用户对机器人系统的信任度。
• 当队友的选择率保持均衡时，参与者报告了更高的满意度，并认为系统更加公平。
• 尽管存在公平性约束，该算法仍成功地随时间学习到了个体技能水平。
• 理论分析证实，该算法在公平性约束下保持有界遗憾。
• 算法中更高的公平性水平导致用户对公平性和系统可靠性的感知更强。
• 结果表明，公平性不仅具有伦理重要性，而且在人机团队系统接受度方面具有实际益处。