[論文レビュー] Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization

Hoi-To Wai, Zhuoran Yang+2 more|arXiv (Cornell University)|Jun 1, 2018

Distributed Control Multi-Agent Systems被引用数 119

ひとこと要約

本稿では、分散型マルチエージェント強化学習（MARL）における新しい二重平均プライマルデュアルアルゴリズムを提案する。エージェントは局所的な報酬と隣接エージェントの勾配のみを用いて、平均二乗ベルマン誤差を共同で最小化する。最適方策価値へのグローバルな幾何的収束を達成し、MARLにおける分散型凸・凹なサドルポイント問題に対して、初めての高速有限時間収束を実現する。

ABSTRACT

Despite the success of single-agent reinforcement learning, multi-agent reinforcement learning (MARL) remains challenging due to complex interactions between agents. Motivated by decentralized applications such as sensor networks, swarm robotics, and power grids, we study policy evaluation in MARL, where agents with jointly observed state-action pairs and private local rewards collaborate to learn the value of a given policy. In this paper, we propose a double averaging scheme, where each agent iteratively performs averaging over both space and time to incorporate neighboring gradient information and local reward information, respectively. We prove that the proposed algorithm converges to the optimal solution at a global geometric rate. In particular, such an algorithm is built upon a primal-dual reformulation of the mean squared Bellman error minimization problem, which gives rise to a decentralized convex-concave saddle-point problem. To the best of our knowledge, the proposed double averaging primal-dual optimization algorithm is the first to achieve fast finite-time convergence on decentralized convex-concave saddle-point problems.

研究の動機と目的

• 分散型エージェントを有するマルチエージェント強化学習（MARL）における方策評価の課題に取り組む。
• センサーネットワークや電力網などの分散型システムにおけるエージェント相互作用の複雑さを克服する。
• 分散型協調条件下でも高速収束を保証するスケーラブルで効率的なアルゴリズムを開発する。
• 平均二乗ベルマン誤差の最小化を、分散型凸・凹なサドルポイント問題として定式化する。
• 分散型設定下でのMARLにおいて、有限時間の幾何的収束を達成する。これは先行研究における主要なギャップである。

提案手法

• 凸・凹なサドルポイント定式化を用いて、MARLの方策評価問題をプライマルデュアル最適化問題に再定式化する。
• 二重平均メカニズムを導入：空間的平均（隣接エージェントの勾配）と時間的平均（局所的報酬更新）の両方を含む。
• 各エージェントが局所的報酬と隣接情報のみを用いて、局所的推定値を維持・更新できるように最適化を分散化する。
• 平均二乗ベルマン誤差の構造を活用して、分散計算を可能にする双対問題を導出する。
• プライマルデュアルフレームワーク内で勾配追跡と双対変数更新を組み合わせることで収束を保証する。
• 提案された二重平均スキームのもとで、分散型サドルポイント問題に対してグローバルな幾何的収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 分散型MARLアルゴリズムは、マルチエージェントシステムにおける方策評価で幾何的収束を達成できるか？
• RQ2 私的な局所的報酬と共同で観測される状態を持つエージェントが、どのようにして平均二乗ベルマン誤差を共同で最小化できるか？
• RQ3 空間的および時間的二重平均の役割は、分散型MARLにおける高速収束を実現するために果たすものとは何か？
• RQ4 二重平均を用いたプライマルデュアルアプローチは、既存の分散型MARL手法に比べて収束速度で優位性を示せるか？
• RQ5 MARLに由来する分散型凸・凹なサドルポイント問題において、有限時間の幾何的収束を達成することは可能か？

主な発見

• 提案された二重平均プライマルデュアルアルゴリズムは、MARLにおいて最適方策価値へのグローバルな幾何的収束を達成する。
• このアルゴリズムは、MARLにおける分散型凸・凹なサドルポイント問題に対して、有限時間の幾何的収束を確立する最初のものである。
• 隣接エージェントの勾配に対する空間的平均と、局所的報酬に対する時間的平均を併用することで収束が保証される。
• この手法は最適化を局所的更新と隣接情報交換に効果的に分離でき、スケーラブルな展開を可能にする。
• 平均二乗ベルマン誤差のプライマルデュアル再定式化により、分散型方策評価のための統一的フレームワークが構築される。
• 理論的分析により、標準的な仮定のもとで、アルゴリズムの収束速度がエージェント数に依存しないことが確認された。