[論文レビュー] Comparative Evaluation of Multi-Agent Deep Reinforcement Learning Algorithms.

Georgios Papoudakis, Filippos Christianos+2 more|arXiv (Cornell University)|Jun 14, 2020

Reinforcement Learning in Robotics参考文献 48被引用数 14

ひとこと要約

本稿では、多エージェント深層強化学習（MARL）の3つのクラス——独立学習者、中央集権的訓練による分散実行エージェント、価値分解——を、多様な環境において評価する。結果として、性能は環境の特性に強く依存し、独立学習者がしばしば複雑な手法を上回ることが明らかになった。また、すべてのアルゴリズムが報酬が疎である状況で困難を抱えることが示された。

ABSTRACT

Multi-agent deep reinforcement learning (MARL) suffers from a lack of commonly-used evaluation tasks and criteria, making comparisons between approaches difficult. In this work, we evaluate and compare three different classes of MARL algorithms (independent learners, centralised training with decentralised execution, and value decomposition) in a diverse range of multi-agent learning tasks. Our results show that (1) algorithm performance depends strongly on environment properties and no algorithm learns efficiently across all learning tasks; (2) independent learners often achieve equal or better performance than more complex algorithms; (3) tested algorithms struggle to solve multi-agent tasks with sparse rewards. We report detailed empirical data, including a reliability analysis, and provide insights into the limitations of the tested algorithms.

研究の動機と目的

• 多エージェント深層強化学習（MARL）における標準化された評価タスクと基準の欠如に対処すること。
• 独立学習者、中央集権的訓練による分散実行、価値分解の3つの主要なMARLアルゴリズムクラスの性能を比較すること。
• 環境の特性や報酬構造に応じて、どのアルゴリズムクラスが最も優れた性能を発揮するかを特定すること。
• MARL手法の透明なベンチマーク化のための実証的データと信頼性分析を提供すること。

提案手法

• 独立学習者、中央集権的訓練による分散実行、価値分解の3つのMARLアルゴリズムクラスの評価。
• 部分観測性、責任帰属の複雑さ、報酬の疎らさの度合いが異なる多様なマルチエージェント環境へのアルゴリズムの適用。
• 学習効率、最終的性能、訓練安定性の面で、環境間での実証的比較。
• 複数のランダムシードにわたる結果の一貫性を評価する信頼性分析の統合。
• 結果の再現性と比較可能性を保証するため、標準的なMARLベンチマークの使用。

実験結果

リサーチクエスチョン

• RQ1 異なる特性を有する多様なマルチエージェント環境において、異なるMARLアルゴリズムクラスの性能はどのように異なるか？
• RQ2 中央集権的訓練による分散実行または価値分解は、独立学習者を常に上回る性能を発揮するのか？
• RQ3 報酬が疎である構造は、MARLアルゴリズムの学習性能にどのように影響するか？
• RQ4 どのアルゴリズムクラスが複数回の訓練実行にわたって最も高い信頼性と一貫性を示すか？

主な発見

• アルゴリズムの性能は環境の特性に強く依存しており、いかなる1つのアルゴリズムもすべてのタスクで優れた性能を発揮するとは限らない。
• 独立学習者が、より複雑なMARL手法と比較して、頻繁に同等または優れた性能を発揮しており、アーキテクチャの複雑さが性能向上に寄与するという仮定に疑問を呈する。
• テストされたすべてのアルゴリズムが、報酬が疎であるマルチエージェントタスクで著しく困難を抱えることが示され、このような条件下での責任帰属に根深い課題が残っていることが明らかになった。
• 信頼性分析により、特に複雑な環境や報酬が疎な環境では、訓練ランにわたる性能の一貫性が欠けていることが判明し、現在のMARL手法における不安定性が浮き彫りになった。