[論文レビュー] Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery

Jiachen Yang, Igor Borovikov+1 more|arXiv (Cornell University)|Dec 7, 2019

Sports Analytics and Performance被引用数 28

ひとこと要約

本稿では、低レベルで内在的報酬に基づく学習を通じて異なる解釈可能なスキルを発見し、高レベルで外在的チーム報酬に基づく集中型ポリシー学習を行う階層的協調的マルチエージェント強化学習フレームワークを提案する。この手法により、スケーラブルな分散実行が可能となり、確率的チームスポーツ環境において優れたチームパフォーマンスを達成する。また、各スキルごとの手作業による報酬設計を一切行わず、発生する解読可能なスキルを活用することで、人間とAIの協働を効果的に支援する。

ABSTRACT

Human players in professional team sports achieve high level coordination by dynamically choosing complementary skills and executing primitive actions to perform these skills. As a step toward creating intelligent agents with this capability for fully cooperative multi-agent settings, we propose a two-level hierarchical multi-agent reinforcement learning (MARL) algorithm with unsupervised skill discovery. Agents learn useful and distinct skills at the low level via independent Q-learning, while they learn to select complementary latent skill variables at the high level via centralized multi-agent training with an extrinsic team reward. The set of low-level skills emerges from an intrinsic reward that solely promotes the decodability of latent skill variables from the trajectory of a low-level skill, without the need for hand-crafted rewards for each skill. For scalable decentralized execution, each agent independently chooses latent skill variables and primitive actions based on local observations. Our overall method enables the use of general cooperative MARL algorithms for training high level policies and single-agent RL for training low level skills. Experiments on a stochastic high dimensional team game show the emergence of useful skills and cooperative team play. The interpretability of the learned skills show the promise of the proposed method for achieving human-AI cooperation in team sports games.

研究の動機と目的

• スケーラブルな分散実行と集中型訓練を備えた完全な協調的マルチエージェント強化学習を実現すること。
• 各スキルごとの手作業による報酬設計なしに、有用で明確に区別できる、解釈可能なスキルを発見すること。
• 高レベルのスキル選択と低レベルの原始的行動実行を通じて、動的で調整のとれたチームプレイを実現すること。
• 解釈可能でモジュール化されたポリシーを可能にすることで、チームスポーツゲームにおける人間とAIの協働を支援すること。
• 高次元で確率的なマルチエージェント環境における長期的クレジット割り当てとサンプルの複雑さを解決すること。

提案手法

• 低レベルのポリシーは、潜在的スキル変数を軌道から解読可能にするように、動的に重み付けされた内在的報酬を用いてQ学習により独立に訓練される。
• 高レベルのポリシーは、チームレベルの外在的報酬に基づき、複数エージェント強化学習（例：QMIX）を用いて集中して訓練され、補完的な潜在的スキル変数を選択する。
• 内在的報酬は、潜在的スキル変数と観測された軌道の相互情報量を最大化するように設計されており、教師なしスキル発見を可能にする。
• 本手法は、パフォーマンスの閾値とステップサイズに基づき、内在的報酬と外在的報酬のバランスを調整するカリキュラム学習メカニズムを用いる。
• 各エージェントはローカルな観測に基づいて高レベルのスキルと低レベルの行動を選択するため、スケーラブルな分散実行が可能になる。
• 本フレームワークは、高レベルの協調的ポリシー学習と低レベルのスキル学習を分離しており、高レベルでは標準のマルチエージェント強化学習アルゴリズム、低レベルでは単一エージェント強化学習を活用できる。

実験結果

リサーチクエスチョン

• RQ1 階層的マルチエージェント強化学習フレームワークは、各スキルごとの手作業による報酬設計なしに、有用で明確に区別され、解釈可能なスキルを発見できるか？
• RQ2 チーム報酬に基づく高レベルポリシーの集中型訓練は、確率的かつ高次元の環境において、効果的で協調的なチーム戦略を生み出せるか？
• RQ3 スキルの解読可能性に基づく内在的報酬の使用は、マルチエージェント環境において安定的で意味のあるスキルの出現を可能にするか？
• RQ4 本手法は、訓練されていないチームメイト（例：人間プレーヤーやスクリプト化されたボット）とのアドホックな協働において、どのように性能を発揮するか？
• RQ5 ハイパーパrameterの中で、階層的フレームワークにおけるスキル発見とチームパフォーマンスに最も顕著に影響を与えるものは何か？

主な発見

• HSDはQMIXおよびIQLを上回るチームの勝率を達成し、2体のスクリプト化されたチームメイトを含む状況で52％の勝率を記録し、訓練されていない状況では46％を達成した。これは、アドホックな環境における頑健性を示している。
• 1人のエージェントが常に守備的または攻撃的スキルを実行するように固定された状況でも、性能が誤差の範囲内で安定していた。
• α_thresholdの値を大きく（例：0.6）すると、パフォーマンスが向上し、分散が低下した。逆に、小さな値では報酬再重み付けが早期に発生し、不安定性を引き起こした。
• α_stepを小さくすると、学習の安定性とパフォーマンスが向上した。これは、小さな報酬調整により、滑らかなカリキュラム進行が可能になったためである。
• 10または20ステップ以上にわたりスキルを継続するエージェントは、5ステップごとに切り替えるエージェントよりも優れたパフォーマンスを示した。これは、より長いスキル継続時間がポリシー学習に好影響を与えることを示している。
• 発生したスキルは定量的に明確に区別可能で、解釈可能であり、エージェントの軌道から明確な行動パターンを解読可能であった。これは、人間とAIの協働を支援する。