[論文レビュー] UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers

Siyi Hu, Fengda Zhu+2 more|arXiv (Cornell University)|Jan 20, 2021

Reinforcement Learning in Robotics参考文献 35被引用数 32

ひとこと要約

tldr: UPDeTは、変動する入力/出力次元を扱い、タスク間の高速転送を実現する、マルチエージェントRL向けの普遍的なTransformerベースのポリシーデカップリングフレームワークを導入し、RNNベースの手法を上回る。

ABSTRACT

Recent advances in multi-agent reinforcement learning have been largely limited in training one model from scratch for every new task. The limitation is due to the restricted model architecture related to fixed input and output dimensions. This hinders the experience accumulation and transfer of the learned agent over tasks with diverse levels of difficulty (e.g. 3 vs 3 or 5 vs 6 multi-agent games). In this paper, we make the first attempt to explore a universal multi-agent reinforcement learning pipeline, designing one single architecture to fit tasks with the requirement of different observation and action configurations. Unlike previous RNN-based models, we utilize a transformer-based model to generate a flexible policy by decoupling the policy distribution from the intertwined input observation with an importance weight measured by the merits of the self-attention mechanism. Compared to a standard transformer block, the proposed model, named as Universal Policy Decoupling Transformer (UPDeT), further relaxes the action restriction and makes the multi-agent task's decision process more explainable. UPDeT is general enough to be plugged into any multi-agent reinforcement learning pipeline and equip them with strong generalization abilities that enables the handling of multiple tasks at a time. Extensive experiments on large-scale SMAC multi-agent competitive games demonstrate that the proposed UPDeT-based multi-agent reinforcement learning achieves significant results relative to state-of-the-art approaches, demonstrating advantageous transfer capability in terms of both performance and training speed (10 times faster).

研究の動機と目的

• さまざまな観測および行動の設定に対応する普遍的なMARLアーキテクチャの必要性を動機づける。
• 入力観測からポリシーをデカップリングするTransformerベースの個別関数を提案する。
• 新しいタスク特有のパラメータを追加することなく、対応する observation-entity を action-groups にマッピングするポリシー デカップリングを導入する。
• 説明可能性を維持しつつ、多様なMARLタスク間のマルチタスク転送とより速い適応を可能にする。

提案手法

• 観測を observation-entities として表現し、Transformerベースの関数で埋め込み、エージェントごとの Q 値を計算する。
• 個別の Q 値から credit assignment function を通じてグローバル Q 関数を計算する。
• 自己注意機構を用いて、対応する observation-entity と他の観測の関係を学習し、ポリシーのデカップリングを可能にする。
• 対応する observation-entities にマッチした action-groups にアクションを分割し、追加のパラメータなしで柔軟なポリシー次元を許容する。
• Dec-POMDP設定内でアクション-観測履歴を扱うため、グローバルまたは個別の時間的ユニットを組み込む。
• DQNと同様の標準的なTD誤差で最適化し、GRU/LSTMをTransformerベースの時間的ユニットに置換する。

実験結果

リサーチクエスチョン

• RQ1 新しいタスク特有のパラメータを追加することなく、さまざまな入力/出力次元を持つMARLタスクを単一のアーキテクチャでサポートできるか？
• RQ2 Transformerによるポリシー デカップリングは、表現学習と複数のMARLタスク間の転送を改善するか？
• RQ3 既存のMARLパイプライン（VDN、QMIX、QTRAN）に組み込んだ場合、パフォーマンスと転送速度の点でUPDeTはどのように機能するか？
• RQ4 部分観測下での学習に対する異なる時間的ユニット設計の影響は何か？
• RQ5 アテンション機構はマルチエージェント環境におけるポリシー決定に対して説明可能な洞察を提供できるか？

主な発見

• UPDeTは、難易度の高いSMACシナリオでVDN、QMIX、または QTRAN と組み合わせた場合、RNNベースのモデルを大幅に上回る。
• このアプローチはタスク間の強い転送能力を可能にし、トレーニングコストを大幅に削減する。報告されている転送収束コストは、GRUベースのモデルより少なくとも10倍、ゼロからトレーニングする場合より100倍速い。
• アテンションガイド付きのポリシーデカップリングは解釈可能な戦略を生み出し、STARCRAFT風の設定で Startup、Attack、Survival などの戦略段階とアテンションマップが相関することから示される。
• UPDeTは既存のMARL手法にほとんどアーキテクチャ変更なしで組み込むことができ、容易なシナリオから難しいシナリオまで顕著な性能向上をもたらす。
• 本手法は大規模MAS設定へ拡張可能で、さまざまなタスクサイズで堅牢な一般化と転送を示す。