[論文レビュー] ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning

Hangyu Mao, Zhibo Gong+2 more|arXiv (Cornell University)|Jun 10, 2017

Reinforcement Learning in Robotics参考文献 33被引用数 40

ひとこと要約

本稿では、部分的に観察可能な環境において、完全に協力的なエージェントが通信プロトコルをゼロから学習できる、新しい深層マルチエージェント強化学習フレームワークACCNetを提案する。アクター・クリティック構造と集中型コーディネータを統合することで、ACCNet—特にそのA-CCNetバージョン—は優れた一般化性能を達成し、推論時に通信を必要としなくなる。これは、連続的および離散的行動空間の両方でベースラインを上回る性能を発揮する。

ABSTRACT

Communication is a critical factor for the big multi-agent world to stay organized and productive. Typically, most previous multi-agent "learning-to-communicate" studies try to predefine the communication protocols or use technologies such as tabular reinforcement learning and evolutionary algorithm, which can not generalize to changing environment or large collection of agents. In this paper, we propose an Actor-Coordinator-Critic Net (ACCNet) framework for solving "learning-to-communicate" problem. The ACCNet naturally combines the powerful actor-critic reinforcement learning technology with deep learning technology. It can efficiently learn the communication protocols even from scratch under partially observable environment. We demonstrate that the ACCNet can achieve better results than several baselines under both continuous and discrete action space environments. We also analyse the learned protocols and discuss some design considerations.

研究の動機と目的

• 従来のマルチエージェント「通信を学ぶ」手法が、事前定義されたプロトコルやスケーラビリティに欠ける手法（例：表形式RL や進化的アルゴリズム）に依存するという限界を是正すること。
• 帯域制限がある条件下で、部分的に観察可能で分散型の環境において、エンド・ツー・エンドの通信プロトコル学習を可能にすること。
• 連続的および離散的行動空間を両方サポートしつつ、訓練の安定性を維持する、スケーラブルで一般化可能なフレームワークの開発。
• 推論時に通信を必要としない通信プロトコルの訓練の可能性を検討し、実世界への展開可能性を高めること。
• コーディネータを用いた集中型トレーニングが、協力的マルチエージェント強化学習におけるポリシー学習と一般化性能をどのように向上させるかを調査すること。

提案手法

• AC-CNet（クライアントがクリティックによって調整される）とA-CCNet（コーディネータがクリティックを調整する）の2つのパラダイムを統合したACCNetというフレームワークを提案。両者とも深層アクター・クリティックRLを用いる。
• トレーニング中に複数エージェントの経験を統合・処理する集中型コーディネータを導入し、部分的観察下でもより安定したポリシー更新を可能にする。
• 全エージェントが同じ時刻に経験を取得するのを保証する、時間的整合性を維持する新しい経験リプレイ機構「CER（Concurrent Experience Replay）」を導入。
• エピソード終了時に現在のエピソードの経験をメインリプレイバッファに組み込む時間優先リプレイ手法「CEER（Current Episode Experience Replay）」を採用。
• 活性化関数選択戦略を適用：離散的行動にはReLUを、連続的で感度の高い行動にはELUやSigmoidなどの非線形関数を用いることで、状態情報の保持を促進。
• 深層ニューラルネットワークを活用し、通信メッセージを圧縮することで「空間スパarsity（スパarsity）」を実現。これにより、帯域効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 部分的に観察可能な環境において、深層アクター・クリティック強化学習を用いてマルチエージェントシステムが、ゼロから効果的な通信プロトコルを学習できるか？
• RQ2 トレーニング時に集中型コーディネータを導入することで、協力的マルチエージェント強化学習におけるポリシー学習と一般化性能にどのような影響を与えるか？
• RQ3 A-CCNetバージョンは、部分的観察下でも推論時に通信を必要としないにもかかわらず、高い性能を達成できるか？
• RQ4 CER や CEER といった経験リプレイ戦略が、非同時発生する経験を持つマルチエージェントシステムの訓練安定性に果たす役割は何か？
• RQ5 深層学習ベースの圧縮とゲーティング機構を用いることで、通信を帯域効率的かつ時間的にスパースにできるか？

主な発見

• AC-CNetおよびA-CCNetの両方とも、連続的および離散的行動空間を有するシンプルなマルチエージェント環境において、ベースライン手法よりも優れた性能を達成する。
• 複雑な環境では、A-CCNetが顕著に優れた一般化性能を示し、完全に観察可能なモデルとほぼ同等の性能を発揮する。
• CERおよびCEERの経験リプレイ機構の導入により、非同時発生するエージェント経験を持つ部分的観察設定下でも、訓練の安定性が向上する。
• A-CCNetバージョンは通信なしの推論を可能にしつつも高い性能を維持でき、帯域制限のあるシステムにおける実世界展開に適している。
• 適切な活性化関数の選択（例：離散的行動にはReLU、連続的行動には非線形関数）により、ポリシーの正確性と安定性が向上する。
• 深層ニューラルネットワークベースのメッセージ圧縮により、通信信号に「空間スパarsity」が実現され、性能を損なわず帯域使用量が削減される。