[論文レビュー] Multi-Armed Bandits with Fairness Constraints for Distributing Resources to Human Teammates

Houston Claure, Yifang Chen+3 more|arXiv (Cornell University)|Jun 30, 2019

Advanced Bandit Algorithms Research参考文献 61被引用数 4

ひとこと要約

本稿では、ロボットが時間の経過とともにチームメイトのスキルレベルを学習しながら、人間のチームメイトにリソース（例：注目、部品）を配分する際の公平性制約付きマルチアームバンディットアルゴリズムを提案する。各チームメイトに対して最小選択率を課すことで、特に低パフォーマンスの個々のメンバーにおける信頼を向上させつつ、チーム全体のパフォーマンスを損なわずに、大規模なテトリスユーザースタディ（25%、33%、50%の公平性制約）でその有効性を示した。

ABSTRACT

How should a robot that collaborates with multiple people decide upon the distribution of resources (e.g. social attention, or parts needed for an assembly)? People are uniquely attuned to how resources are distributed. A decision to distribute more resources to one team member than another might be perceived as unfair with potentially detrimental effects for trust. We introduce a multi-armed bandit algorithm with fairness constraints, where a robot distributes resources to human teammates of different skill levels. In this problem, the robot does not know the skill level of each human teammate, but learns it by observing their performance over time. We define fairness as a constraint on the minimum rate that each human teammate is selected throughout the task. We provide theoretical guarantees on performance and perform a large-scale user study, where we adjust the level of fairness in our algorithm. Results show that fairness in resource distribution has a significant effect on users' trust in the system.

研究の動機と目的

• リソース配分が不均等であると信頼が損なわれる可能性がある人間-ロボットチームにおけるリソース配分の課題に対処すること。
• マルチアームバンディットフレームワーク内で、各人間チームメイトに対して最小選択率制約として公平性を形式化すること。
• チームメイトのスキルレベルを学習するのと公平性制約を両立させる理論的アルゴリズムを開発すること。
• 公平性が共同作業環境における人間の信頼感およびチームパフォーマンスに与える影響を評価すること。
• 公平なリソース配分が、全体のチームパフォーマンスを低下させることなく信頼を向上させることを実証すること。

提案手法

• リソース配分問題を、アームが人間チームメイトを表し、報酬がスキルレベルを反映する確率的報酬を持つマルチアームバンディットとして定式化する。
• 各アームが期待的に最小レート以上に引かれるように保証する確率的UCBベースのアルゴリズムを提案する。
• 常に最小引数レートを厳密に満たす決定論的バージョンを導入する。
• 公平性制約を考慮した新たなレグレット指標を定義し、理論的レグレットバウンドを提示する。
• アルゴリズムがブロックバッチを2名のプレイヤーに、そのパフォーマンスと公平性制約に基づいて割り当てるテトリスベースのユーザースタディを実施する。
• 最小割当率を変化させるために3つの公平性条件（25%、33%、50%）を用い、認識とパフォーマンスの結果を評価する。

実験結果

リサーチクエスチョン

• RQ1 各チームメイトに対して最小選択率を課すことにより、ユーザーの公平性認識および共同システムにおける信頼感にどのような影響を与えるか？
• RQ2 特に高いパフォーマンスを示すチームメイトが頻繁に選ばれなくなる場合に、公平性がチームパフォーマンスに与える影響は何か？
• RQ3 理論的制約を通じて公平性を保証しつつ、マルチアームバンディットアルゴリズムが高いチームパフォーマンスを維持できるか？
• RQ4 低パフォーマンスのチームメイトは、リソース割当が制限されている場合、高パフォーマンスのチームメイトと比較してどのように公平性を感じるか？
• RQ5 認識された公平性が、リソース配分意思決定を行う自律システムにおける信頼をどの程度媒介するか？

主な発見

• 33%の公平性条件に属する参加者は、25%条件の参加者と比較して、特に低パフォーマンスのプレイヤーにおいて、システムに対する信頼感を著しく高く報告した。
• 強いプレイヤーを頻繁に選ばないにもかかわらず、中央値スコアで測定されるチームパフォーマンスは、公平性レベルが高くなるほど向上し、50%条件では中央値スコアが最も高かった。
• 25%条件では、強固なプレイヤーと弱いプレイヤーのターン割り当ての差が大きく、公平性認識が著しく低かった。一方、50%条件では参加が均等で、公平性認識が高かった。
• 公平性条件の変化に伴い、チーム全体のパフォーマンスに顕著な低下は認められず、仮説である「公平性がパフォーマンスを低下させる」には反した結果となった。
• 研究では、公平性認識が単なる結果の平等ではなく、参加の機会の平等（公平性）に強く関連していることが判明した。強いプレイヤーですら、選ばれる頻度が低くても、システムを不公平とは感じなかった。
• 理論的レグレットバウンドは、公平性制約付きアルゴリズムが制約なしUCBと同等の性能を示し、同じ制約下ではオラクルよりも悪いレグレットにならないことを示している。