[論文レビュー] Fever Basketball: A Complex, Flexible, and Asynchronized Sports Game Environment for Multi-agent Reinforcement Learning

Hangtian Jia, Yujing Hu+5 more|arXiv (Cornell University)|Dec 6, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 8

ひとこと要約

本稿では、可変な行動実行時間、複数のプレイヤー役割、多様なゲームシナリオを備えた、現実的で複雑かつ非同期なマルチエージェント強化学習環境「Fever Basketball」を紹介する。この環境は、長時間スパン・スパarsely報酬・非定常性の課題に対処するための統合カリキュラムトレーニング（ICT）フレームワークを提案し、3on3のオンライン対戦で人間プレイヤーに対して70%の勝率を達成するなど、その有効性を示している。

ABSTRACT

The development of deep reinforcement learning (DRL) has benefited from the emergency of a variety type of game environments where new challenging problems are proposed and new algorithms can be tested safely and quickly, such as Board games, RTS, FPS, and MOBA games. However, many existing environments lack complexity and flexibility and assume the actions are synchronously executed in multi-agent settings, which become less valuable. We introduce the Fever Basketball game, a novel reinforcement learning environment where agents are trained to play basketball game. It is a complex and challenging environment that supports multiple characters, multiple positions, and both the single-agent and multi-agent player control modes. In addition, to better simulate real-world basketball games, the execution time of actions differs among players, which makes Fever Basketball a novel asynchronized environment. We evaluate commonly used multi-agent algorithms of both independent learners and joint-action learners in three game scenarios with varying difficulties, and heuristically propose two baseline methods to diminish the extra non-stationarity brought by asynchronism in Fever Basketball Benchmarks. Besides, we propose an integrated curricula training (ICT) framework to better handle Fever Basketball problems, which includes several game-rule based cascading curricula learners and a coordination curricula switcher focusing on enhancing coordination within the team. The results show that the game remains challenging and can be used as a benchmark environment for studies like long-time horizon, sparse rewards, credit assignment, and non-stationarity, etc. in multi-agent settings.

研究の動機と目的

• 既存のゲーム環境が同期的な行動を仮定し、複雑さが低いという限界を是正すること。
• 単一エージェントおよびマルチエージェント学習をサポートする、多様な役割とゲームモードを備えた、現実的で柔軟かつ挑戦的なスポーツ環境を構築すること。
• 行動実行における非同期性がマルチエージェント学習に与える影響を調査し、その非定常性の影響を軽減する手法を開発すること。
• チーム協調性と複雑なスポーツ環境における長時間スパンのタスク学習を向上させるカリキュラムベースのトレーニングフレームワークを設計・評価すること。
• Fever Basketballを、長期的報酬割り当て、スパarsely報酬、協調性の研究のためのベンチマークとして確立すること。

提案手法

• Fever Basketball環境は商業用バスケットボールエンジンに基づき、ジャンプボール、パス、シュート、リバウンド、ポジショナルロール（例：PG、C、SG）を含む完全なバスケットボールルールをサポートする。
• プレイヤーに異なる行動実行時間を割り当てることで非同期性を導入し、現実の反応時間のばらつきを模倣し、非定常性を増加させる。
• 1on1、2on2、3on3のトレーニングシナリオと、オフェンス、ディフェンス、フリー・ボール、ボール・クリアのゲームモードのセットにより、さまざまなタスク難易度での評価が可能となる。
• 非同期性に起因する非定常性を軽減するため、行動選択を非同期性に基づいて調整する2つのヒューリスティック手法（EXP-Ms および EXP-Sp）を提案する。
• 統合カリキュラムトレーニング（ICT）フレームワークは、サブタスクの段階的カリキュラムと、チーム協調性を向上させるための協調性カリキュラムスイッチャーを組み合わせ、段階的にポリシーを訓練する。
• フレームワークはAPEX-Rainbowをベースとする強化学習アルゴリズムを採用し、ゲームルールに基づくカリキュラムスケジューリングを組み込み、試合の各フェーズに応じたポリシー学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 行動実行における非同期性は、スポーツ環境におけるマルチエージェント強化学習アルゴリズムのパフォーマンスにどのように影響するか？
• RQ2 カリキュラムベースのトレーニングは、バスケットボールのような複雑で報酬がスパarselyなスポーツ環境において、協調性と長時間スパンの学習を向上させることができるか？
• RQ3 ヒューリスティック手法は、非同期性によって引き起こされる非定常性をどの程度軽減できるか？
• RQ4 統合カリキュラムトレーニング（ICT）フレームワークは、人間プレイヤーに対する勝率において、標準的なトレーニングベースラインと比較してどのように差をつけるか？
• RQ5 Fever Basketball環境は、報酬がスパarselyで、報酬割り当てと非定常性を含むマルチエージェントRLアルゴリズムの評価に耐えうる堅牢なベンチマークとして機能できるか？

主な発見

• 統合カリキュラムトレーニング（ICT）フレームワークは、300日間のオンライン評価において、人間プレイヤーに対して70%の勝率を達成した。これは、ベースラインのカリキュラム手法（約30%の勝率）を著しく上回った。
• ICTフレームワークは優れた協調性を示し、協調性カリキュラムスイッチャーを含まないモデルとは異なり、ギブ・アンド・ゴーなどの高度な戦術を実行できるようになった。
• アブレーションスタディの結果、1モデルトレーニングが最も成績が悪く、段階的カリキュラムと協調性スイッチャーの追加により顕著なパフォーマンス向上が確認された。
• ICTモデルの勝率は、オンライン評価の初期段階でベースラインモデルと比較して2倍以上に上昇し、優れた一般化能力と適応性を示した。
• AIチームの試合参加率は時間経過とともに上昇し、AIの質の向上がプレイヤーの関与度とゲームの価値を高めたことを示唆している。
• 結果から、Fever Basketballが長期的報酬割り当て、スパarsely報酬、非定常性を伴うマルチエージェントRL問題の挑戦的なベンチマークのままであることが確認された。