[論文レビュー] Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems

Kleanthis Malialis, Sam Devlin+1 more|arXiv (Cornell University)|May 9, 2016

Reinforcement Learning in Robotics参考文献 12被引用数 24

ひとこと要約

本論文は、混雑問題におけるマルチエージェント強化学習（MARL）の学習速度、スケーラビリティ、分散型連携の向上を目的として、リソースを抽象化されたクラスタにグループ化するリソース抽象化という手法を提案する。より情報豊かな報酬信号を生成することで、最大1000エージェントを含む大規模なシナリオにおいて、近似的に最適な社会的福祉を達成し、抽象的および現実的交通混雑ベンチマークの両方で最先端の差報酬法を上回る性能を発揮する。

ABSTRACT

Real-world congestion problems (e.g. traffic congestion) are typically very complex and large-scale. Multiagent reinforcement learning (MARL) is a promising candidate for dealing with this emerging complexity by providing an autonomous and distributed solution to these problems. However, there are three limiting factors that affect the deployability of MARL approaches to congestion problems. These are learning time, scalability and decentralised coordination i.e. no communication between the learning agents. In this paper we introduce Resource Abstraction, an approach that addresses these challenges by allocating the available resources into abstract groups. This abstraction creates new reward functions that provide a more informative signal to the learning agents and aid the coordination amongst them. Experimental work is conducted on two benchmark domains from the literature, an abstract congestion problem and a realistic traffic congestion problem. The current state-of-the-art for solving multiagent congestion problems is a form of reward shaping called difference rewards. We show that the system using Resource Abstraction significantly improves the learning speed and scalability, and achieves the highest possible or near-highest joint performance/social welfare for both congestion problems in large-scale scenarios involving up to 1000 reinforcement learning agents.

研究の動機と目的

• 長時間にわたる学習、スケーラビリティの低さ、エージェント間通信の欠如といった要因により、マルチエージェント強化学習（MARL）が大規模な混雑問題に実用的に応用されにくいという問題に対処する。
• 直接的な通信なしに、構造的抽象化を導入することで、MARLにおける分散型連携の課題を克服する。
• リソースのグループ化を通じてより情報豊かな信号を提供する報酬関数の設計により、学習効率と性能を向上させる。
• 合成的および現実世界の混雑環境の両方でリソース抽象化の有効性を実証し、大規模設定において高い社会的福祉を達成する。

提案手法

• 状態空間の複雑さを低減し、より効果的な学習を可能にするために、利用可能なリソースを抽象化されたクラスタにグループ化する。
• 抽象化されたリソース構造に基づいて新たな報酬関数を設計し、個々のエージェントに豊富なフィードバックを提供する。
• 抽象化されたリソース表現を用いて、エージェントの学習目的をグローバル効率と一致させることで、間接的な連携を実現する。
• 2つのベンチマークドメインに本手法を適用する：抽象的な混雑問題と、最大1000エージェントを含む現実的な交通シミュレーション。
• 学習速度、スケーラビリティ、共同性能の観点から、最先端の差報酬法と性能を比較する。
• 学習中にエージェント間の直接通信を維持しないことで、分散性を保証し、抽象化された報酬構造にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 リソース抽象化は、混雑問題におけるマルチエージェント強化学習の学習時間を顕著に短縮できるか？
• RQ2 リソース抽象化は、最大1000エージェントを含む大規模MARL環境におけるスケーラビリティをどの程度向上できるか？
• RQ3 リソース抽象化は、エージェント間の直接通信なしに、より良い分散型連携を可能にするか？
• RQ4 社会的福祉の観点から、リソース抽象化の性能は最先端の差報酬法と比べてどの程度優れているか？

主な発見

• リソース抽象化は、抽象的および現実的混雑問題の両方において、差報酬ベースラインと比較して学習速度を顕著に向上させる。
• 本手法は、最大1000の強化学習エージェントを含む大規模なシナリオにも効果的にスケーリング可能であり、高い性能を維持する。
• テストされたすべての大規模設定において、リソース抽象化は最高またはほぼ最高の共同性能／社会的福祉を達成する。
• 抽象化された報酬関数は、より情報豊かな学習信号を提供し、通信なしに高速収束と良好な連携を可能にする。
• 両ベンチマークドメインにおいて、本手法は最終的な性能とスケーラビリティの観点で、現在の最先端の差報酬法を上回る。
• 本手法は分散型動作を維持しながら、近似的に最適なシステム全体の成果を達成しており、抽象化を通じた効果的な間接的連携の実現を示している。