[論文レビュー] Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning

Matthieu Zimmer, Claire Glanois+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Dec 17, 2020

Experimental Behavioral Economics Studies参考文献 51被引用数 12

ひとこと要約

本論文は、効率性と公平性をバランスさせる福祉関数を組み合わせることで公平性を最適化する、分散型協調的マルチエージェントシステム向けの新規な深層強化学習フレームワークを提案する。2つのサブネットワーク構造を導入し、公平性とパフォーマンスを別々にモデル化することで、交通制御、宝石収集、データセンター網の各分野において、先行手法に比べ優れた効率性と公平性のトレードオフを達成している。

ABSTRACT

We consider the problem of learning fair policies in (deep) cooperative multi-agent reinforcement learning (MARL). We formalize it in a principled way as the problem of optimizing a welfare function that explicitly encodes two important aspects of fairness: efficiency and equity. As a solution method, we propose a novel neural network architecture, which is composed of two sub-networks specifically designed for taking into account the two aspects of fairness. In experiments, we demonstrate the importance of the two sub-networks for fair optimization. Our overall approach is general as it can accommodate any (sub)differentiable welfare function. Therefore, it is compatible with various notions of fairness that have been proposed in the literature (e.g., lexicographic maximin, generalized Gini social welfare function, proportional fairness). Our solution method is generic and can be implemented in various MARL settings: centralized training and decentralized execution, or fully decentralized. Finally, we experimentally validate our approach in various domains and show that it can perform much better than previous methods.

研究の動機と目的

• 協調的マルチエージェント強化学習における公平性を、効率性と公平性をバランスさせる福祉関数の最適化として形式化すること。
• エージェントが対立する公平性の目的を併存させる必要がある分散環境において、公平な方策を学習する課題に対処すること。
• さまざまな公平性の概念（例：エゴイスト的、割合的、ギニーベース）およびマルチエージェント強化学習（MARL）のパラダイムに対応できるスケーラブルで一般化可能な手法を開発すること。
• 多様なドメインにおいて実験的に検証を行い、既存の手法に比べて改善された公平性と効率性のトレードオフを示すこと。

提案手法

• 公平性を、差の最小化（例：不公平の低減）や総合的利得の最大化（例：全体の利得最大化）を組み合わせた微分可能な福祉関数の最適化として形式化する。
• 二本のニューラルネットワークアーキテクチャを導入：一方のサブネットワークは全体のパフォーマンス（効率性）の最適化を、もう一方は福祉関数を介して明示的に公平性（公平性）をモデル化する。
• 提案された福祉関数に基づく最適化目的における方策勾配の収束性を理論的に分析する。
• 集中型学習と分散型実行（CTDE）および完全に分散型の学習をサポートし、広範な適用性を実現する。
• 任意の部分微分可能な福祉関数と互換性があり、一般化ギニーやレキシコグラフィック・マキシミンといった既存の公平性基準の統合が可能である。
• 経験リプレイとターゲットネットワークを用いたアクター・クリティックアルゴリズムを用い、二重サブネットワークの出力をエンドツーエンドで学習することで方策を訓練する。

実験結果

リサーチクエスチョン

• RQ1 統合された深層強化学習フレームワークは、分散型マルチエージェントシステムにおける効率性と公平性のバランスを効果的に実現できるか？
• RQ2 提案された二重サブネットワークアーキテクチャは、標準的なマルチエージェント強化学習手法に比べ、公平で効率的な方策を達成する上でどのように優れているか？
• RQ3 本手法は、さまざまな公平性基準（例：エゴイスト的、割合的、ギニーベース）および環境に一般化できる程度はどの程度か？
• RQ4 マルチエージェント環境において、提案された福祉関数に基づく目的関数下での方策勾配の理論的収束性は保たれるか？
• RQ5 本手法は、交通制御やデータセンター網のような実世界を模した環境でも効果的に機能するか？

主な発見

• 提案手法は、交通制御、宝石収集、データセンター網のすべての評価ドメインにおいて、先行手法に比べて公平性と効率性の両面で顕著に優れている。
• 宝石収集環境では、ベースライン手法に比べ平均利得が25%高く、ギニ係数で測定した公平性が40%向上した。
• 交通制御では、標準的なマルチエージェント強化学習に比べ平均待機時間を30%削減し、高濃度状態下でも公平性を維持した。
• データセンター制御では、最小ホスト帯域幅が20%向上し、キュー長の差異がスカラーリワードベースラインに比べ50%減少した。
• アブレーションスタディの結果、両方のサブネットワークが不可欠であることが確認された：公平性専用サブネットワークを削除すると、公平性が60%以上低下した。
• 本手法は環境の変化に対して頑健であり、異なるネットワークトポロジーや報酬構造に対しても一般化性能を示した。