[論文レビュー] Emergent Coordination Through Competition

Siqi Liu, Guy Lever+4 more|arXiv (Cornell University)|Feb 19, 2019

Sports Analytics and Performance被引用数 56

ひとこと要約

この論文は、共演プレイと分解報酬設計を用いた集団ベーストレーニングにより、競合する2対2のMuJoCoサッカー環境において強化学習エージェント間の協調挙動がどのように出現するかを、定義済みのベンチマークがない評価基準としてナッシュ平均を用いて評価する。

ABSTRACT

We study the emergence of cooperative behaviors in reinforcement learning agents by introducing a challenging competitive multi-agent soccer environment with continuous simulated physics. We demonstrate that decentralized, population-based training with co-play can lead to a progression in agents' behaviors: from random, to simple ball chasing, and finally showing evidence of cooperation. Our study highlights several of the challenges encountered in large scale multi-agent training in continuous control. In particular, we demonstrate that the automatic optimization of simple shaping rewards, not themselves conducive to co-operative behavior, can lead to long-horizon team behavior. We further apply an evaluation scheme, grounded by game theoretic principals, that can assess agent performance in the absence of pre-defined evaluation tasks or human baselines.

研究の動機と目的

• 競合的なマルチエージェント環境を通じて、MARLにおける協調的挙動がどのように出現し得るかを調べる。
• independence learnersのためのコプレイを組み込んだ分散型集団ベーストレーニングフレームワークを開発・検証する。
• 長期的なチーム志向の行動を促すための報酬設計と分解割引の活用を検討する。
• 事前定義タスクや人間ベースラインに依存しない評価手法を、ゲーム理論の原理を用いて提案する。
• 連続制御を伴う大規模なマルチエージェント訓練の課題を分析する。

提案手法

• 連続物理シミュレーションを持つ2対2サッカー環境（MuJoCo）を用いてマルチエージェント間の相互作用を研究する。
• 独立した学習者の集団を横断してポリシーを進化させるため、共演を含む集団ベーストレーニング（PBT）を適用する。
• マルチエージェント設定で価値関数を推定するため、再帰的批評家を用いたSVG0（確率的値勾配法）を適用する。
• 探索とクレジット割り当てを促進するため、報酬を複数の形作りチャンネルに分解し、別々の割引因子を適用する。
• PBTの適合信号に基づいてオンラインで形作り報酈の重みを最適化し、近視的な形作りから長期的なチーム報酬への移行を可能にする。
• 部分観測への依存度を分析し出現的協調を評価する手法として反事実的ポリシー発散を導入する。

実験結果

リサーチクエスチョン

• RQ1 分散型PBTとコプレイは、競合的なマルチエージェットサッカードメインにおいて出現的協調挙動を生み出せるか。
• RQ2 形作り報酬と分解割引は、時間とともに協調戦略の出現にどのような影響を与えるか。
• RQ3 非転置的で競合的なMARL設定において、人間のベースラインなしでエージェントの性能を堅牢に評価する手法とは何か。
• RQ4 批評家の記憶性と再帰性は、集団ベースMARLフレームワークにおける価値推定と学習にどのような影響を与えるか。
• RQ5 大規模な連続制御MARLにおける実用的な課題と、搾取性の兆候は何か。

主な発見

• エージェントはランダムな挙動からボール追跡へ、最終的にはパスのモチーフとチーム意識による協調的プレーへと進化する。
• コプレイと報酬設計を伴うPBTは、長期的なチーム目標に向けて自動的に形作り報酬を最適化できる。
• 分解された報酬チャネルと別個の割引が、個々の学習をチーム目標に整合させ、時間とともに適応させる。
• 反事実的ポリシー発散は、チームメイトの観測への依存度が高まり、協調挙動が進化していくことを示す。
• ナッシュ平均評価は非推移性とエージェント間の多様性を浮き彫りにし、Eloランキングだけでは拾えない要素を示す。
• 批評家の再帰性は多様な対戦相手への一般化を改善する一方、前方伝播ポリシーと比べて一部設定で劣る場合がある。