[論文レビュー] The Multi-Agent Reinforcement Learning in MalmÖ (MARLÖ) Competition

Diego Pérez-Liébana, Katja Hofmann+6 more|arXiv (Cornell University)|Jan 23, 2019

Reinforcement Learning in Robotics参考文献 11被引用数 54

ひとこと要約

MARLÖ競技は、複数のMinecraftベースの3Dゲームで一般化を促すマルチエージェントRLベンチマークを提案し、ゲーム間・タスク・対戦相手タイプを跨いだ一般化を促進するエージェントを評価するプレイオフ大会を通じて評価します。

ABSTRACT

Learning in multi-agent scenarios is a fruitful research direction, but current approaches still show scalability problems in multiple games with general reward settings and different opponent types. The Multi-Agent Reinforcement Learning in MalmÖ (MARLÖ) competition is a new challenge that proposes research in this domain using multiple 3D games. The goal of this contest is to foster research in general agents that can learn across different games and opponent types, proposing a challenge as a milestone in the direction of Artificial General Intelligence.

研究の動機と目的

• 一般的な、複数ゲーム・マルチエージェント強化学習の研究を促進する。
• 複数の3Dゲームと多様な対戦相手タイプに渡って学習できるエージェントを開発する。
• 単一タスクへの過剰適合を避けるため、複数のインスタンスを含む設定可能なタスク空間を提供する。

提案手法

• 協力要素と競合要素を含む、Minecraftベースの3つのゲーム（Mob Chase、Build Battle、Treasure Hunt）を定義する。
• 開発と反復を加速するスタートキットとテストタスクを提供する。
• ゲームとタスクを横断してエージェントを評価するラウンドロビン形式のプレイオフ大会を使用する。
• 各ゲームの多様なバリアントを作成するために、非常にパラメータ化されたタスク構成を利用する。
• 複数のゲームおよび複数の他エージェントに対して良好に性能を発揮することを要求し、過剰適合を抑制する。

実験結果

リサーチクエスチョン

• RQ1 MARLÖ内の異なるゲーム間でエージェントはどれだけ一般化できるか。
• RQ2 各ゲーム内で異なるタスクのバリアント間でエージェントはどの程度一般化できるか。
• RQ3 マルチエージェント環境で異なる対戦相手タイプに対してエージェントはどれだけ堅牢か。
• RQ4 一般化を目的としたエージェントは、ゲーム固有のエージェントを上回ることができるか。

主な発見

• MARLÖは、複数のゲーム・タスク・対戦相手を横断して検証することで、マルチエージェントRLにおける一般化を進めることを目指している。
• この競技は、公開ベンチマーク、スタートキット、および評価の基準を提供し、参加と評価を容易にする。
• 最終ランキングは、3つのゲームすべてと複数のタスクにわたるプレイオフ大会で決定され、ゲーム横断の熟練を促進する。