[論文レビュー] Voting-Based Multi-Agent Reinforcement Learning.

Yue Xu, Zengde Deng+4 more|arXiv (Cornell University)|Jul 2, 2019

Reinforcement Learning in Robotics参考文献 34被引用数 1

ひとこと要約

本稿では、報酬の集団最大化を前提に、方策最適化を線形計画問題として定式化し、分散型プライマル・デュアルアルゴリズムを用いて最適な集団意思決定を達成する、投票に基づくマルチエージェント強化学習（MARL）フレームワークを提案する。この手法により、分散エージェントは、中央集権的学習の性能を損なわず、部分線形レートでグローバルに最適な方策に収束することができる。

ABSTRACT

The recent success of single-agent reinforcement learning (RL) encourages the exploration of multi-agent reinforcement learning (MARL), which is more challenging due to the interactions among different agents. In this paper, we consider a voting-based MARL problem, in which the agents vote to make group decisions and the goal is to maximize the globally averaged returns. To this end, we formulate the MARL problem based on the linear programming form of the policy optimization problem and propose a distributed primal-dual algorithm to obtain the optimal solution. We also propose a voting mechanism through which the distributed learning achieves the same sub-linear convergence rate as centralized learning. In other words, the distributed decision making does not slow down the global consensus to optimal. We also verify the convergence of our proposed algorithm with numerical simulations and conduct case studies in practical multi-agent systems.

研究の動機と目的

• エージェント間の相互作用を伴うマルチエージェント強化学習（MARL）における協調と収束の課題に対処すること。
• 中央集権的MARL手法と同等の収束速度を達成する分散型学習アルゴリズムを開発すること。
• グローバルリターンの最大化と整合する投票メカニズムを通じて、集団意思決定を可能にすること。
• 分散アルゴリズムが最適方策への部分線形収束を維持することを保証すること。
• 数値シミュレーションおよび実世界のマルチエージェントシステムの事例研究を通じて、手法の有効性を検証すること。

提案手法

• 集団リターンの最大化を前提に、MARL問題を線形計画問題として定式化し、方策最適化を表現する。
• 中央集権的調整なしにエージェントが共同で線形計画問題を解けるように、分散型プライマル・デュアルアルゴリズムを設計する。
• エージェントが方策推定に基づいて行動を共同で意思決定する投票メカニズムを導入し、グローバルな一貫性を確保する。
• 分散アルゴリズムの部分線形収束レートを保証し、中央集権的学習の理論的レートと一致させる。
• 双対変数を用いてエージェントの更新を調整し、最適方策への収束を保証する。
• 反復的な投票と方策の最適化を通じて、局所的意思決定をグローバルな目的に一致させるコンSENSUSメカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 分散型MARLアルゴリズムは、集団意思決定において中央集権的学習と同等の収束速度を達成できるか？
• RQ2 グローバル最適性を保証するために、マルチエージェント学習に投票メカニズムを統合する方法は何か？
• RQ3 分散型MARLにおけるエージェント相互作用が、収束速度と方策品質に与える影響は何か？
• RQ4 分散環境下でのプライマル・デュアルアプローチは、グローバル平均リターンを最大化しつつ、部分線形収束を維持できるか？
• RQ5 提案手法は、中央集権的ベースラインと比較して、実用的マルチエージェントシステムにおいてどのようにスケーリングするか？

主な発見

• 提案された分散型プライマル・デュアルアルゴリズムは、部分線形収束レートを達成し、中央集権的学習の理論的性能と一致する。
• 投票メカニズムにより、中央コーディネータを必要とせず、エージェントが共同で最適意思決定に到達できる。
• 数値シミュレーションにより、線形計画問題の枠組み下でアルゴリズムが最適方策に収束することが確認された。
• 実世界のマルチエージェントシステムにおける事例研究により、手法の頑健性とスケーラビリティが示された。
• 分散実行にもかかわらず、集団リターンの最大化におけるグローバル最適性が維持された。
• 分散実行下でも収束レートが保たれ、分散化がグローバルコンセンサスを遅くしないことが実証された。