[論文レビュー] Learning Fairness in Multi-Agent Systems

Jiechuan Jiang, Zongqing Lu|arXiv (Cornell University)|Oct 31, 2019

Experimental Behavioral Economics Studies被引用数 13

ひとこと要約

本稿では、コントローラ・サブポリシー構造を用いる階層的強化学習フレームワークFENを提案する。FENは、各エージェントごとの公平性を分解し、情報理論的探索を用いた公平性・効率性の両立を促進する報酬関数を採用することで、分散型マルチエージェント環境においてパレート効率性と公平性を同時に達成する。FENは、リソース利用率が最大82%に達し、不平等度（CV）が0.10にまで低下するジョブスケジューリング、マシュー効果、製造業のシナリオにおいて、ベースラインを上回る性能を発揮した。

ABSTRACT

Fairness is essential for human society, contributing to stability and productivity. Similarly, fairness is also the key for many multi-agent systems. Taking fairness into multi-agent learning could help multi-agent systems become both efficient and stable. However, learning efficiency and fairness simultaneously is a complex, multi-objective, joint-policy optimization. To tackle these difficulties, we propose FEN, a novel hierarchical reinforcement learning model. We first decompose fairness for each agent and propose fair-efficient reward that each agent learns its own policy to optimize. To avoid multi-objective conflict, we design a hierarchy consisting of a controller and several sub-policies, where the controller maximizes the fair-efficient reward by switching among the sub-policies that provides diverse behaviors to interact with the environment. FEN can be trained in a fully decentralized way, making it easy to be deployed in real-world applications. Empirically, we show that FEN easily learns both fairness and efficiency and significantly outperforms baselines in a variety of multi-agent scenarios.

研究の動機と目的

• 公平性と効率性の両立を同時に最適化するという、マルチエージェント強化学習における課題に取り組むこと。
• 中央集権的調整なしに、エージェントが公平かつ効率的な方策を学習できる分散型でスケーラブルな手法を設計すること。
• 手動で設計されたあるいはドメイン特化された公平性メカニズムの限界を克服し、一般化可能で学習可能な公平性フレームワークを導入すること。
• 理論的分析と実験的検証を通じて、さまざまなマルチエージェント環境において公平性が保証されることを保証すること。
• 多様なサブポリシーを有する階層的構造が、単一ポリシーまたは非階層的アプローチと比較して、学習の安定性と性能をどのように向上させるかを示すこと。

提案手法

• FENは、1つのコントローラと複数のサブポリシーからなる階層的構造を採用しており、コントローラが公平性・効率性の報酬を最適化するためにサブポリシーを切り替える。
• 各エージェントは、環境報酬と平均協調に基づく公平性を組み合わせたパーソナライズドな公平性・効率性報酬を学習し、方策の協調的学習を保証する。
• 1つのサブポリシーは環境報酬を最大化するために訓練され、他のサブポリシーは情報理論的報酬によって、多様で公平性を促進する行動を促される。
• 平均協調を用いて、エージェント間で公平性関連の情報を完全に分散型で同期し、局所的学習とグローバルな公平性の調整を可能にする。
• コントローラは、現在の状態と報酬信号に基づいて、サブポリシーを動的に切り替えることで、公平性と効率性の最適なトレードオフを実現する行動選択を可能にする。
• このフレームワークは完全に分散型であり、ローカル観測と通信のみを必要とするため、現実世界のマルチエージェントシステムへの展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 中央集権的制御なしに、階層的強化学習フレームワークがマルチエージェントシステムにおける公平性と効率性のバランスを効果的にとれるか。
• RQ2 情報理論的探索によって誘導されるサブポリシーの使用は、単一ポリシーまたはランダムポリシーと比較して、どのように公平性学習を向上させるか。
• RQ3 提案された公平性・効率性報酬が、無限時間にわたる逐次意思決定において、パレート効率性と公平性の両方をどの程度保証するか。
• RQ4 FENは、さまざまなマルチエージェントシナリオにおいて、公平性（CVで測定）と効率性（リソース利用率と製品数で測定）の観点から、既存手法と比較してどの程度優れているか。
• RQ5 階層的設計が、製造工場やマシュー効果シナリオなどの複雑な環境において、学習の安定性と性能に果たす貢献度はどの程度か。

主な発見

• 製造工場シナリオでは、FENは82%のリソース利用率を達成し、次に優れたベースライン（34%）を大きく上回り、高い効率性と公平性を示した。
• FENは、0.10という係数変動比（CV）を達成し、すべての手法の中で最低水準であり、ベースライン（CV 0.26～0.63）と比較して優れた公平性を示した。
• FENは平均して48個の製品を製造し、次に優れた手法（23個）の2倍以上を達成しており、異種エージェントの貢献のバランスの良さが顕著に表れた。
• アブレーションスタディの結果、階層的構造を削除すると性能が著しく低下し、FEN w/o Hierarchyではリソース利用率が22%、製品数が15個にまで低下した。これは、階層構造が極めて重要な役割を果たしていることを示している。
• サブポリシーの可視化により、学習されたサブポリシーがクラスタリングを避け、異なる領域に分散した行動をとっていることが確認され、情報理論的報酬が公平性の多様性を促進していることが裏付けられた。
• コントローラが多様なサブポリシーを切り替える能力により、FENはジョブスケジューリングやマシュー効果シナリオを含む動的で複雑な環境においても高い性能を維持できた。