[論文レビュー] Offline Pre-trained Multi-Agent Decision Transformer: One Big Sequence Model Tackles All SMAC Tasks

Linghui Meng, Muning Wen+8 more|arXiv (Cornell University)|Dec 6, 2021

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本稿では、マルチエージェント強化学習（MARL）のためのオフライン事前学習を可能にする、トランスフォーマーに基づく統合的シーケンスモデリングフレームワーク「マルチエージェント意思決定トランスフォーマー（MADT）」を提案する。大規模なオフラインStarCraft IIデータセットを活用することで、MADTは多様なSMACタスクにおいて優れたサンプル効率と強力な少サンプル／ゼロショット一般化性能を達成し、最先端のオフラインRL手法を上回り、オンラインファインチューニングのシナリオへの効果的な転移を示している。

ABSTRACT

Offline reinforcement learning leverages previously-collected offline datasets to learn optimal policies with no necessity to access the real environment. Such a paradigm is also desirable for multi-agent reinforcement learning (MARL) tasks, given the increased interactions among agents and with the enviroment. Yet, in MARL, the paradigm of offline pre-training with online fine-tuning has not been studied, nor datasets or benchmarks for offline MARL research are available. In this paper, we facilitate the research by providing large-scale datasets, and use them to examine the usage of the Decision Transformer in the context of MARL. We investigate the generalisation of MARL offline pre-training in the following three aspects: 1) between single agents and multiple agents, 2) from offline pretraining to the online fine-tuning, and 3) to that of multiple downstream tasks with few-shot and zero-shot capabilities. We start by introducing the first offline MARL dataset with diverse quality levels based on the StarCraftII environment, and then propose the novel architecture of multi-agent decision transformer (MADT) for effective offline learning. MADT leverages transformer's modelling ability of sequence modelling and integrates it seamlessly with both offline and online MARL tasks. A crucial benefit of MADT is that it learns generalisable policies that can transfer between different types of agents under different task scenarios. On StarCraft II offline dataset, MADT outperforms the state-of-the-art offline RL baselines. When applied to online tasks, the pre-trained MADT significantly improves sample efficiency, and enjoys strong performance both few-short and zero-shot cases. To our best knowledge, this is the first work that studies and demonstrates the effectiveness of offline pre-trained models in terms of sample efficiency and generalisability enhancements in MARL.

研究の動機と目的

• 事前学習のための大規模なオフラインMARLデータセットおよびベンチマークの不足に対処すること。
• シーケンスモデリングを用いたオフライン事前学習が、マルチエージェントRLにおけるサンプル効率および転送可能性をどのように向上させるかを調査すること。
• 少サンプルおよびゼロショット能力を備えた、多様なSMACタスクに一般化可能な統合的シーケンスモデルの開発。
• トランスフォーマーに基づくモデリングのオフラインおよびオンラインMARL設定における有効性を評価すること。

提案手法

• 自己注意メカニズムを用いて状態、行動、報酬のシーケンスをモデリングする、新しいマルチエージェント意思決定トランスフォーマー（MADT）アーキテクチャを提案する。
• 異なるスキルレベルを持つStarCraft II環境からのオフラインデータセットを用いて、1つの汎用的シーケンスモデルを事前学習する。
• 事前学習およびファインチューニングの際には報酬の累積（reward-to-go）を入力から除外し、オフラインとオンラインデータ間の分布シフトを回避する。
• オンラインファインチューニングに適応するため、MAPPOをオンラインポリシー最適化アルゴリズムとして用いることで、事前学習済みMADTを活用する。
• 状態シーケンスを入力として与えたもとで行動を予測する条件付きシーケンスモデリングを適用し、MARLを条件付き生成タスクとして扱う。
• 5つのSMACシナリオにわたるマルチタスク事前学習を組み合わせることで、ポリシーの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのオフライン事前学習済みシーケンスモデルは、少サンプルおよびゼロショット能力を備えて、複数のSMACタスクに一般化可能か？
• RQ2 MADTを用いたオフライン事前学習は、オンラインMARLファインチューニングにおけるサンプル効率をどのように向上させるか？
• RQ3 なぜ報酬の累積（reward-to-go）の含め方が、事前学習モデルのオンラインファインチューニング性能を悪化させるのか？
• RQ4 オンライン適応のための事前学習トランスフォーマーのファインチューニングに、MAPPOを用いることで他のポリシー勾配法と比較してどのように効果が現れるか？
• RQ5 なぜオフライン専用のMADTバージョンは、オンラインファインチューニング段階で改善しないのか？

主な発見

• MADTは、SMACのオフラインベンチマークにおいて、最先端のオフラインRLベースライン（BC、BCQ、CQL、ICQ）を上回っている。
• オンラインでファインチューニングされた場合、MADTはたった250万ステップの環境相互作用で、初期化から学習を開始する場合よりも高い報酬を達成している。
• 未学習のマップ（例：3s_vs_4z）に対しても、事前学習済みMADTポリシーは効果的に一般化しており、強力なゼロショット転送性能を示している。
• 報酬の累積（reward-to-go）を入力特徴から除外することで、オフラインとオンラインデータ間の分布シフトが軽減され、結果としてオンラインファインチューニング性能が向上している。
• MAPPOを用いたオンラインファインチューニングは、単純なポリシー勾配法と比較して、サンプル効率が著しく向上している。
• オフライン専用のMADTバージョンは、オンラインファインチューニング段階で改善しないことが判明しており、これは教師あり事前学習における報酬獲得の動機付けの欠如に起因している。