[論文レビュー] ALMA: Hierarchical Learning for Composite Multi-Agent Tasks

Shariq Iqbal, Robby Costales+1 more|arXiv (Cornell University)|May 27, 2022

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

ALMAは、複合マルチエージェントタスクにおける階層的強化学習フレームワークを導入し、エージェントが部分タスクに共同で割り当てられ、割り当てられたタスクに特化した方策を学習する。環境を独立した部分環境に分解し、割り当て方策と行動方策を同時に学習することで、ALMAは優れたサンプル効率性、新しい構成への一般化性能、および強力なベースラインやヒューリスティクスを上回る性能を達成する。

ABSTRACT

Despite significant progress on multi-agent reinforcement learning (MARL) in recent years, coordination in complex domains remains a challenge. Work in MARL often focuses on solving tasks where agents interact with all other agents and entities in the environment; however, we observe that real-world tasks are often composed of several isolated instances of local agent interactions (subtasks), and each agent can meaningfully focus on one subtask to the exclusion of all else in the environment. In these composite tasks, successful policies can often be decomposed into two levels of decision-making: agents are allocated to specific subtasks and each agent acts productively towards their assigned subtask alone. This decomposed decision making provides a strong structural inductive bias, significantly reduces agent observation spaces, and encourages subtask-specific policies to be reused and composed during training, as opposed to treating each new composition of subtasks as unique. We introduce ALMA, a general learning method for taking advantage of these structured tasks. ALMA simultaneously learns a high-level subtask allocation policy and low-level agent policies. We demonstrate that ALMA learns sophisticated coordination behavior in a number of challenging environments, outperforming strong baselines. ALMA's modularity also enables it to better generalize to new environment configurations. Finally, we find that while ALMA can integrate separately trained allocation and action policies, the best performance is obtained only by training all components jointly. Our code is available at https://github.com/shariqiqbal2810/ALMA

研究の動機と目的

• 大規模な相互作用を伴う複雑なマルチエージェント環境において、協調性に欠けるサンプル効率性の課題に対処すること。
• エージェントが独立した部分タスクに集中するという構造的インダクティブバイアス（構造的偏見）を活用し、観測空間を縮小し、方策の再利用性を向上させること。
• 高レベルの割り当て方策と低レベルの行動方策を同時に学習するモジュラーで統合的なフレームワークを開発し、より良い協調性と一般化性能を実現すること。
• 統合学習の必要性と、部分タスク分解が性能と耐性に与える影響を評価すること。

提案手法

• ALMAは二段階の意思決定構造を用いる：高レベルの部分タスク割り当て方策がエージェントを部分タスクに割り当て、低レベルのエージェント方策は割り当てられた部分タスクでのみ行動する。
• 部分タスク固有の行動価値関数を導入し、ローカル観測にのみ依存するようにし、タスク固有の観測マスキングによって実現することで、独立した学習と再利用を可能にする。
• 組み合わせ的に巨大な行動空間を扱う価値ベースのアプローチを採用し、近年の大きな行動空間における学習の進展を活用する。
• フレームワークはモジュラーであり、異なる部分タスクの組み合わせにおいても訓練済みの部分タスク方策を再利用可能であり、事前学習済み方策と組み合わせることでゼロショット転送が可能になる。
• 割り当て方策と行動方策の統合学習により、方策が互いの行動に適応するフィードバックループを形成し、全体の性能を向上させる。
• 部分タスクの遷移と報酬の独立性を仮定しており、観測マスキングによって部分環境の独立性を維持する。

実験結果

リサーチクエスチョン

• RQ1 部分タスク割り当てと低レベル行動方策を同時に最適化する階層的学習フレームワークは、複雑なマルチエージェントタスクにおいて平坦なMARL手法を上回る性能を発揮できるか？
• RQ2 観測マスキングによる部分タスク分解は、複合マルチエージェントタスクにおけるサンプル効率性と方策再利用性にどのように影響するか？
• RQ3 割り当て方策と行動方策を同時に学習することで、別々に学習する場合と比べて性能がどの程度向上するか？
• RQ4 ALMAは、学習時に見なかった新しい環境構成にどの程度一般化できるか、特に部分タスクの仮定が満たされない場合でも。

主な発見

• ALMAは、SaveTheCity や StarCraft といった複雑なマルチエージェント環境において、最先端の階層的・平坦なMARL手法、およびヒューリスティクスによる割り当て戦略を上回る性能を示した。
• 観測マスキングを除去すると性能が著しく低下し、部分タスク分解が効果的な学習に不可欠であることが確認された。
• ALMAは新しい構成に対しても頑健に一般化し、訓練時よりも部分タスクが類似している場合でも安定した性能を維持しており、中間的な構成ではわずかな性能向上を示した。
• 事前学習済み行動方策を用いる場合、ALMAの割り当て方策のみでヒューリスティクスベースの手法の有効性を4倍に高めることができ、強力なゼロショット転送能力を示した。
• 割り当て方策と行動方策の統合学習が最良の性能をもたらし、高レベル戦略と低レベル実行の間のフィードバックループが最適な協調性に不可欠であることが示された。
• 部分タスクの独立性仮定が破られる場合（例：StarCraftにおける重複する敵軍の配置）、手法は失敗することが確認され、分解仮定の重要性が裏付けられた。