[論文レビュー] Reinforcement Learning with Fairness Constraints for Resource Distribution in Human-Robot Teams

Houston Claure, Yifang Chen+3 more|arXiv (Cornell University)|Jun 30, 2019

Advanced Bandit Algorithms Research参考文献 21被引用数 15

ひとこと要約

本論文は、人間とロボットのチームにおけるリソース配分に公平性制約を設けたマルチアームドバンディットアルゴリズムを提案する。ロボットはパフォーマンスフィードバックを通じて人間のチームメイトのスキルレベルを学習しつつ、各チームメイトが最低限の頻度で選択されることを保証する。この手法により、公平性を通じた信頼が向上し、大規模なユーザースタディにより、ユーザーの認識とシステム受容性に顕著な効果があることが実証された。

ABSTRACT

Much work in robotics and operations research has focused on optimal resource distribution, where an agent dynamically decides how to sequentially distribute resources among different candidates. However, most work ignores the notion of fairness in candidate selection. In the case where a robot distributes resources to human team members, disproportionately favoring the highest performing teammate can have negative effects in team dynamics and system acceptance. We introduce a multi-armed bandit algorithm with fairness constraints, where a robot distributes resources to human teammates of different skill levels. In this problem, the robot does not know the skill level of each human teammate, but learns it by observing their performance over time. We define fairness as a constraint on the minimum rate that each human teammate is selected throughout the task. We provide theoretical guarantees on performance and perform a large-scale user study, where we adjust the level of fairness in our algorithm. Results show that fairness in resource distribution has a significant effect on users' trust in the system.

研究の動機と目的

• 高パフォーマンスのメンバーに偏る動的リソース割り当てにおける公平性の欠如に取り組むこと。これは、チームの結束を損なう可能性がある。
• 順次的リソース割り当ての過程で、各人間のチームメイトに対して最小選択率制約として公平性を形式化すること。
• チームメイトのスキルレベルを時間経過とともに学習しつつ、公平性制約を尊重するマルチアームドバンディットアルゴリズムを設計すること。
• 現実のヒューマンロボットインタラクション環境において、公平性がユーザーの信頼とシステム受容性に与える影響を評価すること。
• 公平性制約下での提案アルゴリズムの理論的性能保証を提供すること。

提案手法

• 各人間のチームメイトの未知のスキルレベルを想定し、リソース配分問題をマルチアームドバンディットとして定式化する。
• システム的バイアスを防ぐために、各チームメイトに対して最小選択率を保証する公平性制約を導入する。
• チームメイトのパフォーマンスを学習しつつ公平性制約を満たすバランスの取れた探索と活用の戦略を用いる。
• タスク全体にわたり最小選択率が維持されるように、制約付き最適化フレームワークを組み込む。
• 理論的分析を用いて、公平性制約下での性能バウンド、特にレグレット保証を導出する。
• 実世界のユーザースタディでアルゴリズムを実装し、公平性と信頼のダイナミクスを評価する。

実験結果

リサーチクエスチョン

• RQ1 各チームメイトに対して最小選択率を強制することで、ヒューマンロボットチームにおけるユーザーの信頼にどのような影響を与えるか？
• RQ2 パフォーランスフィードバックを通じて、公平性を維持しつつロボットが個々のチームメイトのスキルレベルをどの程度学習できるか？
• RQ3 動的リソース割り当てにおいて、パフォーマンス最適化と公平性の間にはどのようなトレードオフがあるか？
• RQ4 アルゴリズムにおける異なるレベルの公平性が、ユーザーの認識とシステム受容性にどのように影響するか？
• RQ5 理論的な公平性制約は、現実のヒューマンロボットインタラクションの場面で実際に効果的に実装可能か？

主な発見

• ユーザースタディの結果、公平性制約がユーザーのロボットシステムに対する信頼を顕著に向上させた。
• 選択率がチームメイト間でバランスされた場合、参加者はより高い満足度とシステムの公平性の認識を示した。
• 公平性制約がある中でも、アルゴリズムは時間経過とともに個々のスキルレベルを効果的に学習した。
• 理論的分析により、公平性制約下でもレグレットが有界に保たれることを確認した。
• アルゴリズムにおける高いレベルの公平性は、公平性とシステム信頼性の認識を強化した。
• 結果から、公平性は倫理的に重要であるだけでなく、ヒューマンロボットチームにおけるシステム受容性にとって機能的にも有益であることが示された。