[論文レビュー] A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation

Gang Chen|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics被引用数 28

ひとこと要約

本論文では、グローバルポリシーを用いた集中型学習と探索を可能にするマルチエージェント強化学習フレームワークCTEDDを提案する。その後、ポリシー蒸留を用いて分散実行可能なローカルポリシーに変換することで、SOTAベースライン（例：MADDPG）を上回る優れたサンプル効率と性能を達成する。最大エントロピー強化学習を活用し、バランスの取れた探索を実現するとともに、グローバルポリシーをローカルで通信対応可能なポリシーに蒸留することで、複数のベンチマークで優れた性能を発揮する。

ABSTRACT

Deep reinforcement learning (DRL) is a booming area of artificial intelligence. Many practical applications of DRL naturally involve more than one collaborative learners, making it important to study DRL in a multi-agent context. Previous research showed that effective learning in complex multi-agent systems demands for highly coordinated environment exploration among all the participating agents. Many researchers attempted to cope with this challenge through learning centralized value functions. However, the common strategy for every agent to learn their local policies directly often fail to nurture strong inter-agent collaboration and can be sample inefficient whenever agents alter their communication channels. To address these issues, we propose a new framework known as centralized training and exploration with decentralized execution via policy distillation. Guided by this framework and the maximum-entropy learning technique, we will first train agents' policies with shared global component to foster coordinated and effective learning. Locally executable policies will be derived subsequently from the trained global policies via policy distillation. Experiments show that our new framework and algorithm can achieve significantly better performance and higher sample efficiency than a cutting-edge baseline on several multi-agent DRL benchmarks.

研究の動機と目的

• 複雑なマルチエージェントシステムにおいて、エージェントが協調してグローバルな成果を達成する必要がある状況における、協調的探索の課題に対処すること。
• マルチエージェントDRLにおける直接的なローカルポリシー学習に内在するサンプル非効率性と劣悪な協調性を克服すること。
• 通信チャネルの変化に対しても効果を保つ、柔軟で通信に強いポリシーを実現すること。
• 学習中のグローバルな協調性と実行時の分散型実行を分離することで、学習効率を向上させること。
• 最大エントロピーRLを統合し、包括的かつシステムワイドな方法で探索と活用のバランスを取ること。

提案手法

• 全状態入力を処理できる共有のグローバルディープニューラルネットワーク（DNN）を訓練し、グローバル情報へのアクセスを可能にすることで、集中型ポリシー学習を実現する。
• 最大エントロピー強化学習を用いて、エージェント間で多様かつ協調的な探索を促進し、探索と活用のバランスを取る。
• ポリシー蒸留を適用し、グローバルポリシーをエージェントごとのローカル観測のみに依存する実行可能なローカルポリシーに変換する。
• 1Dまたは3Dのメッセージ交換など、複数の通信チャネル構成をサポートするために、同じグローバルポリシーを再利用可能であり、再訓練を不要とする。
• 学習と実行を分離する：グローバルポリシーの学習は集中型であるが、最終的なポリシーは分散型かつスケーラブルな方法で実行される。
• ローカルおよびグローバルのコンponentsを併せ持つ共有グローバルDNNを用いることで、協調性を維持しつつポリシー蒸留を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グローバルポリシーの監視のもとで集中学習を行うことで、マルチエージェント強化学習における協調性とサンプル効率が向上するか？
• RQ2 グローバルポリシーからのポリシー蒸留は、性能を保持したまま効果的な分散実行を可能にするか？
• RQ3 最大エントロピー学習は、マルチエージェントシステムにおける協調的探索をどの程度向上させるか？
• RQ4 同じグローバルポリシーを再訓練なしに、異なる通信チャネル構成に再利用できるか？
• RQ5 CTEDDは、MADDPGなどの最先端手法と比較して、サンプル効率および最終的なパフォーマンスで優れているか？

主な発見

• CTEDD-L-3は、約150,000回の学習エピソード後、CN-V1環境でテスト性能-390を達成し、MADDPG-3（2倍のエピソード数を要する）を上回った。
• 蒸留されたローカルポリシー（CTEDD-L-1およびCTEDD-L-3）は、ある時点でグローバルポリシー（CTEDD-G）とほぼ同等の性能を示し、有効な知識伝達が確認された。
• 最大エントロピーRLの使用により、最適な探索バランスが実現された。一方で、標準偏差の設定が不適切な場合、性能が低下したが、本手法は最良の学習速度と最終的パフォーマンスを達成した。
• 同じグローバルポリシーを、追加の環境サンプルを必要とせずに、異なる通信チャネル構成でのローカルポリシー学習に再利用可能であり、高いサンプル効率を示した。
• すべての評価環境において、CTEDDはMADDPG-1およびMADDPG-3の両方を学習速度および最終テストパフォーマンスで顕著に上回った。
• グローバルな協調性とローカルポリシー実行を分離したことで、通信チャネルの変更に対しても強い性能を維持した。