[論文レビュー] Multiagent Deep Reinforcement Learning: Challenges and Directions Towards Human-Like Approaches.

Annie Wong, Thomas Bäck+2 more|arXiv (Cornell University)|Jun 29, 2021

Reinforcement Learning in Robotics参考文献 136被引用数 12

ひとこと要約

この論文は、マルチエージェント深層強化学習（MADRL）を調査し、集中型トレーニングと分散型実行、相手モデル化、通信、協調、報酬形状設計を主な研究分野として特定している。非定常性や次元の呪いといった課題を克服するには、心理学や社会学にインspiredされた多様な分野の統合的かつ包括的な手法が必要であり、人間のようなマルチエージェントシステムを実現するためのものである。

ABSTRACT

This paper surveys the field of multiagent deep reinforcement learning. The combination of deep neural networks with reinforcement learning has gained increased traction in recent years and is slowly shifting the focus from single-agent to multiagent environments. Dealing with multiple agents is inherently more complex as (a) the future rewards depend on the joint actions of multiple players and (b) the computational complexity of functions increases. We present the most common multiagent problem representations and their main challenges, and identify five research areas that address one or more of these challenges: centralised training and decentralised execution, opponent modelling, communication, efficient coordination, and reward shaping. We find that many computational studies rely on unrealistic assumptions or are not generalisable to other settings; they struggle to overcome the curse of dimensionality or nonstationarity. Approaches from psychology and sociology capture promising relevant behaviours such as communication and coordination. We suggest that, for multiagent reinforcement learning to be successful, future research addresses these challenges with an interdisciplinary approach to open up new possibilities for more human-oriented solutions in multiagent reinforcement learning.

研究の動機と目的

• 非定常性や次元の問題を含む、マルチエージェント深層強化学習における核心的な課題を特定すること。
• 集中型トレーニングと分散型実行のような既存のアプローチと、それらの限界を検討すること。
• 心理学および社会学からの知見が、マルチエージェントシステムにおける協調と通信をどのように改善できるかを検討すること。
• より汎用的で人間らしいマルチエージェント学習ソリューションを開発するため、多様な分野の統合的アプローチを提唱すること。
• マルチエージェント環境における共同行動と報酬依存性の複雑さに対処するための主要な研究分野をマッピングすること。

提案手法

• 論文は、共同行動の依存関係や計算複雑性といった、既存のマルチエージェント問題の表現とその固有の課題を調査する。
• 現在のアプローチを5つの研究分野に分類する：集中型トレーニングと分散型実行、相手モデル化、通信、効率的な協調、報酬形状設計。
• 非定常性や高次元の状態行動空間を扱う能力、仮定の妥当性、一般化可能性に基づいて、手法の分析評価を行う。
• 機械学習の課題と人間の社会的行動との類似性を指摘し、心理的および社会的原則がより良いマルチエージェント設計に寄与できることを示唆する。
• 現行の計算研究が現実的でない仮定に依存しており、一般化可能性が限られていることを批判する。
• 認知科学と社会科学からの知見を統合する多様な分野の統合フレームワークを提唱し、今後のMADRL研究を導く。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント深層強化学習は、共同行動空間における次元の呪いや非定常性をどのように克服できるか？
• RQ2 集中型トレーニングと分散型実行は、スケーラブルなマルチエージェント学習を可能にする役割を果たすか？
• RQ3 マルチエージェントシステムにおける通信および協調メカニズムは、人間らしい協働を反映するようにどのようにモデル化できるか？
• RQ4 非定常なマルチエージェント環境において、相手モデル化は方策学習をどのように改善できるか？
• RQ5 報酬形状設計は、マルチエージェントシステムにおける汎用的で人間中心の行動を促進するために、どのように設計できるか？

主な発見

• 多くの既存のマルチエージェント強化学習の計算研究は、現実的でない仮定に依存しており、異なる環境間での一般化可能性に欠けている。
• 次元の呪いや非定常性は、特に複雑な共同行動空間において、スケーラブルなマルチエージェント学習の大きな障壁のままである。
• 集中型トレーニングと分散型実行は有望ではあるが、方策の一般化やスケーラビリティに関する課題を完全に解決していない。
• 人間の社会的行動にインspiredされた通信および協調メカニズムは、より強固で適応的なマルチエージェントシステムへの実現可能性のある道筋を提供する。
• 報酬形状設計と相手モデル化は重要だが、まだ十分に発展していない分野であり、人間らしいパフォーマンスを達成するためには、より多くの多様分野の統合的統合が必要である。
• 論文は、現在の機械学習アプローチの根本的限界に対処するため、心理学および社会学からの知見を統合することが、今後のMADRLの進展に不可欠であると結論づける。