[論文レビュー] Dealing With Non-stationarity in Decentralized Cooperative Multi-Agent Deep Reinforcement Learning via Multi-Timescale Learning

Hadi Nekoei, Akilesh Badrinaaraayanan+5 more|arXiv (Cornell University)|Feb 6, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、同時に進行する方策更新によって引き起こされる非定常性に対処するため、分散型協調的マルチエージェント強化学習（MARL）のためのマルチタイムスケール学習アルゴリズムを提案する。主エージェントが速く、他のエージェントが遅く学習するようにすることで、同時に異なる速度で学習を実行する。この方法により、学習を加速するとともに方策のずれを低減し、ePymarlベンチマークにおいて最先端の分散型MARL手法を上回る性能を発揮する。

ABSTRACT

Decentralized cooperative multi-agent deep reinforcement learning (MARL) can be a versatile learning framework, particularly in scenarios where centralized training is either not possible or not practical. One of the critical challenges in decentralized deep MARL is the non-stationarity of the learning environment when multiple agents are learning concurrently. A commonly used and efficient scheme for decentralized MARL is independent learning in which agents concurrently update their policies independently of each other. We first show that independent learning does not always converge, while sequential learning where agents update their policies one after another in a sequence is guaranteed to converge to an agent-by-agent optimal solution. In sequential learning, when one agent updates its policy, all other agent's policies are kept fixed, alleviating the challenge of non-stationarity due to simultaneous updates in other agents' policies. However, it can be slow because only one agent is learning at any time. Therefore it might also not always be practical. In this work, we propose a decentralized cooperative MARL algorithm based on multi-timescale learning. In multi-timescale learning, all agents learn simultaneously, but at different learning rates. In our proposed method, when one agent updates its policy, other agents are allowed to update their policies as well, but at a slower rate. This speeds up sequential learning, while also minimizing non-stationarity caused by other agents updating concurrently. Multi-timescale learning outperforms state-of-the-art decentralized learning methods on a set of challenging multi-agent cooperative tasks in the epymarl(Papoudakis et al., 2020) benchmark. This can be seen as a first step towards more general decentralized cooperative deep MARL methods based on multi-timescale learning.

研究の動機と目的

• 分散型協調的マルチエージェント強化学習（MARL）における非定常性の課題に取り組む。これは、同時に進行する方策更新が学習を不安定にするためである。
• 独立学習の限界（収束保証がないこと）と逐次学習の限界（1エージェントずつ更新するため遅いこと）を克服する。
• 他のエージェントの更新の影響を最小限に抑えることができる、同時学習が可能な分散型MARLアルゴリズムを設計する。
• 中央集権的なトレーニングや調整を必要とせず、協調的MARL設定における学習効率と性能を向上させる。
• マルチタイムスケール学習が、スケーラブルで分散型のMARLに適した有効なパラダイムであることを確立する。

提案手法

• 本手法は、エージェントが同時に学習を行うが、異なる学習レートで更新するマルチタイムスケール学習フレームワークを採用する。
• 主エージェントは速い学習レートを使用し、他のエージェントは遅い学習レートを使用することで、主エージェントに対する他のエージェントの方策変更の影響を低減する。
• この設計により、逐次学習より高速な収束が実現されるとともに、同時に進行する更新による非定常性の低減によって安定性を維持する。
• アルゴリズムは完全に分散型であり、トレーニング中に中央集権的な調整や共有パラメータの更新を必要としない。
• 独立型のディープQネットワーク（DQN）またはポリシー勾配法を用いて実装され、各エージェントごとに明示的に学習レートをスケジューリングする。
• 本手法は、SMACやHanabiなどの標準的なMARL環境を含む、ePymarlベンチマークの協調的タスクで評価されている。

実験結果

リサーチクエスチョン

• RQ1 分散型MARLアルゴリズムは、1エージェントずつ更新する逐次学習よりも高速に収束できるか、かつ安定性を維持できるか？
• RQ2 協調的MARLにおいて、独立学習と比較してマルチタイムスケール学習は非定常性を低減できるか？
• RQ3 異なる速度で同時に学習することは、協調的環境における既存の最先端の分散型MARL手法を上回ることができるか？
• RQ4 学習レート比の選択が、マルチエージェント設定における学習の安定性とサンプル効率にどのように影響するか？
• RQ5 マルチタイムスケール学習は、分散型協調的MARLにスケーラブルかつ一般化可能なかいだんであるか？

主な発見

• 提案されたマルチタイムスケール学習手法は、1エージェントずつ更新する逐次学習よりも高速に収束する。
• 独立学習（すべてのエージェントが類似したレートで同時に更新）と比較して、非定常性が顕著に低減される。
• ePymarlベンチマークにおいて、最終的なリターンと学習の安定性の両面で、最先端の分散型MARLアルゴリズムを上回る性能を発揮する。
• 特にSMAC（Simplified Multi-Agent Control）やHanabiのような複雑な協調的環境において、性能向上が顕著に現れる。
• 補助エージェントに遅い学習レートを使用することで、方策のずれが効果的に抑制され、全体の学習安定性が向上する。
• 実験結果から、本手法は多様な協調的タスクにおいて高いサンプル効率と一般化性能を維持していることが示された。