[논문 리뷰] Reinforcement Learning with Fairness Constraints for Resource Distribution in Human-Robot Teams

Houston Claure, Yifang Chen외 3명|arXiv (Cornell University)|2019. 06. 30.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 15

한 줄 요약

이 논문은 인간-로봇 팀에서 자원 배분을 위한 공정성 제약 조건을 갖춘 다수의 손잡이 기반 알고리즘을 제안한다. 로봇은 성과 피드백을 통해 인간 동료의 능력 수준을 학습하면서도 각 동료가 최소한의 빈도로 선택되도록 보장한다. 이 방법은 공정성으로 인해 신뢰를 향상시키며, 대규모 사용자 연구를 통해 사용자 인식과 시스템 수용도에 뚜렷한 영향을 미친다.

ABSTRACT

Much work in robotics and operations research has focused on optimal resource distribution, where an agent dynamically decides how to sequentially distribute resources among different candidates. However, most work ignores the notion of fairness in candidate selection. In the case where a robot distributes resources to human team members, disproportionately favoring the highest performing teammate can have negative effects in team dynamics and system acceptance. We introduce a multi-armed bandit algorithm with fairness constraints, where a robot distributes resources to human teammates of different skill levels. In this problem, the robot does not know the skill level of each human teammate, but learns it by observing their performance over time. We define fairness as a constraint on the minimum rate that each human teammate is selected throughout the task. We provide theoretical guarantees on performance and perform a large-scale user study, where we adjust the level of fairness in our algorithm. Results show that fairness in resource distribution has a significant effect on users' trust in the system.

연구 동기 및 목표

• 높은 성과를 내는 구성원에게 편애를 주는 것 등으로 인해 팀 유대감이 해거지는 동적 자원 할당에서의 공정성 부족 문제를 해결한다.
• 순차적 자원 할당 중 각 인간 동료의 최소 선택 빈도 제약 조건으로 공정성을 수식화한다.
• 시간이 지남에 따라 동료의 능력 수준을 학습하면서도 공정성 제약 조건을 준수하는 다수의 손잡이 기반 알고리즘을 설계한다.
• 실제 인간-로봇 상호작용 환경에서 공정성이 사용자 신뢰와 시스템 수용도에 끼치는 영향을 평가한다.
• 공정성 제약 조건 하에서 제안된 알고리즘의 이론적 성능 보장을 제공한다.

제안 방법

• 각 인간 동료의 알려지지 않은 능력 수준을 고려하여 자원 배분 문제를 다수의 손잡이 기반 문제로 수식화한다.
• 시스템적 편향을 방지하기 위해 각 동료의 최소 선택 빈도를 보장하는 공정성 제약 조건을 도입한다.
• 성능 학습과 공정성 제약 조건 충족을 균형 잡는 탐색-이용 전략을 사용한다.
• 과제 전반에 걸쳐 최소 선택 빈도가 유지되도록 보장하기 위해 제약 조건이 있는 최적화 프레임워크를 통합한다.
• 이론적 분석을 적용하여 공정성 제약 조건 하에서의 성능 한계를 유도하며, 특히 누적 손실 보장을 도출한다.
• 실제 사용자 연구를 통해 알고리즘을 실생활 환경에 구현하여 공정성과 신뢰의 역학을 평가한다.

실험 결과

연구 질문

• RQ1 각 동료에 대해 최소 선택 빈도를 강제할 경우 인간-로봇 팀에서 사용자의 신뢰에 어떤 영향을 미치는가?
• RQ2 성과 피드백을 통해 로봇이 공정성을 유지하면서도 개인 동료의 능력 수준을 얼마나 잘 학습할 수 있는가?
• RQ3 동적 자원 할당에서 성능 최적화와 공정성 사이의 상호 교환 관계는 어떠한가?
• RQ4 알고리즘의 공정성 수준이 다를 경우 사용자 인식과 시스템 수용도에 어떤 영향을 미치는가?
• RQ5 이론적 공정성 제약 조건은 실제 인간-로봇 상호작용 시나리오에 효과적으로 구현될 수 있는가?

주요 결과

• 사용자 연구에서 공정성 제약 조건이 사용자들이 로봇 시스템에 대한 신뢰를 크게 높였음을 입증했다.
• 참가자들은 동료 간 선택 빈도가 균형을 이루었을 때 더 높은 만족도와 공정성 인식을 보였다.
• 공정성 제약 조건에도 불구하고 알고리즘이 시간이 지남에 따라 개인의 능력 수준을 성공적으로 학습했다.
• 이론적 분석을 통해 알고리즘이 공정성 제약 조건 하에서도 유한한 누적 손실을 유지함을 확인했다.
• 알고리즘의 공정성 수준이 높을수록 공정성 인식과 시스템 신뢰도가 더 강하게 인식되었다.
• 결과적으로 공정성은 윤리적으로 중요한 요소일 뿐 아니라 인간-로봇 팀에서의 시스템 수용도 향상에 실질적인 기여를 한다.