[論文レビュー] Attention Actor-Critic algorithm for Multi-Agent Constrained Co-operative Reinforcement Learning

P. Parnika, Raghuram Bharadwaj Diddigi+2 more|arXiv (Cornell University)|Jan 7, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、行動制約を満たしながら最適方策を学習するための、注意メカニズムを用いたマルチエージェント制約付き協調強化学習のためのMACAACを提案する。MACAACは、適応的ラグランジュ双対パラメータを用いて制約を満たす。方策学習と制約満たしのための別個の注意メカニズムを採用することで、エージェントは関連する情報を動的に優先処理でき、Cooperative Navigation や Treasure Collection といったベンチマーク環境において、固定重みベースラインを上回る性能を発揮するとともに、ペナルティ制約を満たす。

ABSTRACT

In this work, we consider the problem of computing optimal actions for Reinforcement Learning (RL) agents in a co-operative setting, where the objective is to optimize a common goal. However, in many real-life applications, in addition to optimizing the goal, the agents are required to satisfy certain constraints specified on their actions. Under this setting, the objective of the agents is to not only learn the actions that optimize the common objective but also meet the specified constraints. In recent times, the Actor-Critic algorithm with an attention mechanism has been successfully applied to obtain optimal actions for RL agents in multi-agent environments. In this work, we extend this algorithm to the constrained multi-agent RL setting. The idea here is that optimizing the common goal and satisfying the constraints may require different modes of attention. By incorporating different attention modes, the agents can select useful information required for optimizing the objective and satisfying the constraints separately, thereby yielding better actions. Through experiments on benchmark multi-agent environments, we show the effectiveness of our proposed algorithm.

研究の動機と目的

• 共通の目的関数の最適化と併せて満たされなければならない行動制約を伴う協調的マルチエージェント強化学習エージェントの訓練という課題に対処すること。
• 事前に最適な制約重みが不明であり、試行錯誤によって学習される必要がある固定重みペナルティ手法の限界を克服すること。
• エージェントが方策最適化と制約満たしの両方のための関連情報に選択的に注目できるように、Actor-Criticフレームワークに注意メカニズムを統合すること。
• 2つの時間スケールの学習手法を用いて、集中型訓練と分散型実行を可能にし、方策パラメータはラグランジュ双対パラメータよりも速く更新されることを保証すること。
• 提案手法が、マルチエージェント環境において指定されたペナルティ制約を満たしつつ、近似的最適な性能を達成することを実証的に検証すること。

提案手法

• 本手法は、主なコスト（方策最適化）のための1つの注意ヘッドと、ペナルティコスト（制約満たし）のためのもう1つの注意ヘッドを備えた集中型クライアントを採用する。
• 2つの時間スケールの学習アルゴリズムを用いる：方策パラメータは高速な時間スケールで更新され、ラグランジュ双対パラメータ（制約の重み）は遅い時間スケールで更新される。
• 注意メカニズムにより、各エージェントは他のエージェントの観測に対して異なる注意重みを動的に割り当てられ、異なるサブタスクのための関連情報処理を可能にする。
• ラグランジュ形式により、主なコストと制約コストを組み合わせ、最適な重みを事前に知らなくてもよいように、勾配上昇法により双対パラメータを学習することで制約を強制する。
• 本手法は、1つの制約（Cooperative Navigation）と2つの制約（Treasure Collection）を備えた2つのベンチマーク環境で評価される。スパarsな報酬と衝突ペナルティが使用される。
• クライアントは、主な目的とペナルティ項の両方のQ値を推定するように訓練され、表現学習の向上のため価値関数推定に注意メカニズムが適用される。

実験結果

リサーチクエスチョン

• RQ1 注意メカニズムを備えたActor-Criticアルゴリズムは、指定された行動制約を満たしながら、マルチエージェント環境で協調的方策を効果的に学習できるか？
• RQ2 方策学習と制約満たしのための注意を分離することで、共有注意または固定重みペナルティ手法よりも優れた性能が得られるか？
• RQ3 マルチエージェント環境において、適応的ラグランジュ双対パラメータを効果的に学習でき、目的関数最適化と制約強制のバランスを自動で調整できるか？
• RQ4 訓練中に注意メカニズムはどのように変化するか？また、異なるタスクに対して関連するチームメイトを動的に優先できるか？
• RQ5 固定重みペナルティベースラインと比較して、本手法は制約満たしと目的関数性能の両面で優れているか？

主な発見

• MACAACは、Cooperative NavigationおよびTreasure Collectionの両環境において、指定されたすべてのペナルティ制約を満たしており、制約違反は閾値を常に下回っている。
• Cooperative Navigation環境では、収束したラグランジュパラメータ（w₁ = 5.534）を用いた固定重みベースラインは制約α = 3を満たしたが、MACAACよりもわずかに高い平均コストを示した。
• Treasure Collection環境では、w₁ = 3.47およびw₂ = 0.83の固定重みベースラインも両制約を満たしたが、MACAACよりも高い平均コストを生じさせた。これは、固定重みが制限的である可能性を示している。
• MACAACは、訓練中にラグランジュパラメータを適応的に学習することで、目的関数最適化と制約満たしの間でより良いトレードオフを達成した。これは、2時間スケール手法の利点を示している。
• 注意の可視化では、訓練終了に近づくとエージェント1は他の全エージェントに均等に注目していたが、エージェント8（ドロッププレイヤー）はエージェント7（コレクタ）に特に注目していた。これは、衝突回避のためのタスク固有の注意を示している。
• エージェント8のペナルティクライアントは全エージェントに均等に注目しており、衝突を避けるためにグローバルな認識が求められることが示され、注意メカニズムが制約強制の役割を果たしていることを確認した。