[論文レビュー] CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning

Jiachen Yang, Alireza Nakhaei+3 more|arXiv (Cornell University)|Sep 13, 2018

Reinforcement Learning in Robotics参考文献 50被引用数 23

ひとこと要約

CM3は、協調的で複数の目的をもつマルチエージェント強化学習システムのための2段階カリキュラム強化学習フレームワークを提案する。まず単一エージェントの目的到達を事前学習し、その後にマルチエージェント協調を可能にする。局所化された責任割り当てのための報酬関数を導入し、関数拡張を用いて段階間での知識移行を実現し、ナビゲーション、交通調整、チェッカーズのベンチマークにおいて、ベースラインのマルチエージェント強化学習手法と比較して著しく高速な学習を達成した。

ABSTRACT

A variety of cooperative multi-agent control problems require agents to achieve individual goals while contributing to collective success. This multi-goal multi-agent setting poses difficulties for recent algorithms, which primarily target settings with a single global reward, due to two new challenges: efficient exploration for learning both individual goal attainment and cooperation for others' success, and credit-assignment for interactions between actions and goals of different agents. To address both challenges, we restructure the problem into a novel two-stage curriculum, in which single-agent goal attainment is learned prior to learning multi-agent cooperation, and we derive a new multi-goal multi-agent policy gradient with a credit function for localized credit assignment. We use a function augmentation scheme to bridge value and policy functions across the curriculum. The complete architecture, called CM3, learns significantly faster than direct adaptations of existing algorithms on three challenging multi-goal multi-agent problems: cooperative navigation in difficult formations, negotiating multi-vehicle lane changes in the SUMO traffic simulator, and strategic cooperation in a Checkers environment.

研究の動機と目的

• 協調的で複数の目的をもつマルチエージェント強化学習における探索の効率性を向上させる。この際、エージェントは個々の目的達成と相互協調の両方をバランスさせる必要がある。
• 複数の目的をもつマルチエージェント強化学習における責任割り当て問題を解決する。ここでは、行動が複数のエージェントの成功に影響を与え、細かく属性づける必要がある。
• 高次元の状態空間を持つ複雑なマルチエージェント環境におけるサンプル効率性と学習速度を向上させる。
• 単一エージェントのポリシーを再利用できるモジュラでスケーラブルなフレームワークを構築し、カリキュラム学習と関数拡張を用いてマルチエージェント協調を実現する。

提案手法

• CM3は2段階のカリキュラムを採用する。第1段階では、エージェントを個別に訓練し、アクタ・クリティックネットワークを用いて自らの目的を達成する。
• 第2段階では、事前学習済みポリシーでエージェントを初期化し、マルチエージェント協調を可能にする。探索は第1段階の単一エージェント学習の事前知識に基づいて誘導される。
• 関数拡張を用いて、第1段階の単一エージェントネットワークのアーキテクチャを拡張し、第2段階でマルチエージェントの観測と行動を含める。これにより、パラメータの再トレーニングを最小限に抑える。
• 第1段階のクリティックから導出された新しい報酬関数を用いて、行動と目的のペアの評価を行い、エージェント間での局所化された責任割り当てを実現する。
• この報酬関数を用いて方策勾配を再定義し、マルチエージェント環境における責任割り当てとポリシー更新の改善を図る。
• 経験リプレイとターゲットネットワークを用い、価値ベースと方策ベースの学習を統合する。ハイパーパrameterは環境ごとに最適化されている。

実験結果

リサーチクエスチョン

• RQ1 エージェントが個々の目的と相互協調の両方を学習する必要がある状況において、複数の目的をもつマルチエージェント強化学習で効率的な探索をどのように達成できるか？
• RQ2 単一エージェントの目的到達を事前学習し、その後にマルチエージェント協調を学習する2段階カリキュラム学習アプローチが、サンプル効率性と収束速度を向上させられるか？
• RQ3 複数の目的をもつマルチエージェント強化学習において、責任割り当てをどのように局所化し構造化できるか。これにより、エージェントの行動が他のエージェントの目的達成に与える影響を正確に属性づけることができるか？
• RQ4 関数拡張を用いて、災難的忘却や過剰なパラメータ増加を回避しながら、単一エージェントとマルチエージェントのポリシーおよび価値関数をどのように橋渡しできるか？
• RQ5 提案されたCM3フレームワークは、複雑で高次元の状態空間を持つ複数の目的をもつマルチエージェント環境において、既存のマルチエージェント強化学習ベースラインを上回る性能を示せるか？

主な発見

• CM3は、困難なフォーメーションを伴う協調的ナビゲーションタスクにおいて、QMIX、COMA、IAC、QVの直接的拡張と比較して、著しく高速な学習収束を達成し、訓練時間を最大80％短縮した。
• SUMO交通シミュレータにおいて、CM3はダブルレーン合流シナリオですべてのベースラインを上回り、高い成功確率と滑らかな協調性を達成し、衝突回数も少なくした。
• チェッカーズ環境では、CM3が戦略的協調をベースラインよりも速く学習した。50,000ステップの訓練後、次に優れた手法と比較して25％高い勝率を記録した。
• 2段階カリキュラムにより、エージェントが最初に個々の目的に集中できるようになり、マルチエージェント段階における探索の安定性と効率性が向上した。
• 関数拡張により、CM3は事前学習済みの第1段階ネットワークを最小限の追加パラメータで再利用でき、性能を維持しながら訓練のオーバーヘッドを削減した。
• 報酬関数により、行動が目的達成に与える影響を正確に属性づけることができ、ポリシー更新の質が向上し、マルチエージェント相互作用における責任割り当ての曖昧さが低減した。