[論文レビュー] Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning

Matthias Gerstgrasser, Tom Danino+1 more|arXiv (Cornell University)|Nov 1, 2023

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、選択的かつ優先順位付けされた経験リレーメカニズムを用いて、エージェント間で最も高い時系列差分（TD）誤差を持つ経験のみを共有することで学習を向上させる、分散型マルチエージェント強化学習フレームワークであるSUPER（Selective Multi-Agent Prioritized Experience Relay）を紹介する。TD誤差を関連性の代理指標として用いることで、最も情報価値の高い遷移のみを優先的に共有することで、通信帯域が限られた状況下でも、非共有DQNや最先端のマルチエージェントアルゴリズムを上回る高速な収束性と優れた性能を達成する。

ABSTRACT

We present a novel multi-agent RL approach, Selective Multi-Agent Prioritized Experience Relay, in which agents share with other agents a limited number of transitions they observe during training. The intuition behind this is that even a small number of relevant experiences from other agents could help each agent learn. Unlike many other multi-agent RL algorithms, this approach allows for largely decentralized training, requiring only a limited communication channel between agents. We show that our approach outperforms baseline no-sharing decentralized training and state-of-the art multi-agent RL algorithms. Further, sharing only a small number of highly relevant experiences outperforms sharing all experiences between agents, and the performance uplift from selective experience sharing is robust across a range of hyperparameters and DQN variants. A reference implementation of our algorithm is available at https://github.com/mgerstgrasser/super.

研究の動機と目的

• エージェント間の経験共有を活用することで、マルチエージェント強化学習における非定常性と高い分散の課題に取り組む。
• 中央集権的なトレーニングインfraを必要とせずに、分散トレーニング環境におけるサンプル効率と学習速度を向上させること。
• TD誤差に基づく選択的かつ優先順位付けされた経験共有が、マルチエージェントDQN環境において、無差別的または均一な経験共有を上回るかを調査すること。
• エージェントの自律性を維持しつつ協調学習を可能にする、通信効率が高く、部分的に分散化されたトレーニングパラダイムの開発。

提案手法

• 各エージェントは、自らの経験リプレイバッファを用いてDQNで独立してトレーニングを行う。
• 各エージェントは、リプレイバッファ内のすべての遷移について、時系列差分（TD）誤差を計算し、学習の不確実性を評価する。
• TD誤差が最も高い上位k件の経験のみが、他のエージェントとの共有のために選択される。
• 共有された経験は、受信エージェントのリプレイバッファに直接挿入され、優先順位付けされたデータを用いたオフポリシー学習が可能になる。
• 個々のエージェントで事前に優先順位付き経験リプレイ（PER）を使用しているかどうかに関わらず、本手法は互換性を持つ。
• 通信は、最も関連性の高い経験のみに限定され、帯域を最小限に抑えつつ学習への影響を最大化する。

実験結果

リサーチクエスチョン

• RQ1 高インパクトな経験の選択的共有が、非共有または全共有と比較してマルチエージェントRLのパフォーマンスを向上させるか？
• RQ2 経験選択のヒューリスティックとしてTD誤差を用いることで、均一またはランダム選択と比較して、学習効率と最終的なパフォーマンスが向上するか？
• RQ3 通信量を最小限に抑えた分散型トレーニングフレームワークでも、集中型トレーニング手法と同等のパフォーマンスを達成できるか？
• RQ4 ハイパーパrameterやDQNバリアントの違いに対して、選択的経験共有によるパフォーマンス向上のロバストネスはどの程度か？
• RQ5 決定論的選択と確率的選択の両方がパフォーマンスに与える影響は何か、その理由は何か？

主な発見

• SUPERは、評価されたすべての環境およびハイパーパrameter設定において、非共有分散DQNトレーニングを上回る。
• 最高のTD誤差を持つ経験のみを共有する選択的共有が、すべての経験を共有する方法を著しく上回ることから、無差別的共有は有害であることが示された。
• 選択的経験共有によるパフォーマンス向上は、さまざまなDQNバリアントおよびハイパーパrameter設定に対して安定的である。
• 上位経験の決定論的選択（確率的選択ではなく）がわずかに優れた結果をもたらしており、これは共有が一度きりの処理であるため、重要な経験を見逃すリスクが低減されるためと推察される。
• 非常に低い通信帯域でも強力なパフォーマンスを達成しており、リソース制約のある環境でも実用可能であることが示された。
• 特に報酬がスパarsな環境において、MADDPG や SEAC といった最先端のアルゴリズムを上回るパフォーマンスを発揮した。