[論文レビュー] Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning

Jennifer She, Jayesh K. Gupta+1 more|arXiv (Cornell University)|Oct 31, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、注意メカニズムを用いてエージェント間および時間的要因の両方の信用配分を統合的にモデル化することで、マルチエージェント強化学習におけるスパarsな報酬と遅延報酬を再配分するニューラルネットワークモデル、Agent-Time Attention (ATA) を提案する。拡張された MiniGrid 環境におけるスパars報酬の設定において、強力なベースラインを上回り、協調的マルチエージェント強化学習設定における優れた信用配分と方策学習を示している。

ABSTRACT

Sparse and delayed rewards pose a challenge to single agent reinforcement learning. This challenge is amplified in multi-agent reinforcement learning (MARL) where credit assignment of these rewards needs to happen not only across time, but also across agents. We propose Agent-Time Attention (ATA), a neural network model with auxiliary losses for redistributing sparse and delayed rewards in collaborative MARL. We provide a simple example that demonstrates how providing agents with their own local redistributed rewards and shared global redistributed rewards motivate different policies. We extend several MiniGrid environments, specifically MultiRoom and DoorKey, to the multi-agent sparse delayed rewards setting. We demonstrate that ATA outperforms various baselines on many instances of these environments. Source code of the experiments is available at https://github.com/jshe/agent-time-attention.

研究の動機と目的

• 協調的マルチエージェント強化学習（MARL）におけるスパarsで遅延する報酬の課題に対処すること、特に時間的およびエージェント間の両方で信用配分が困難である点に焦点を当てる。
• チーム全体のグローバル報酬を個々のエージェントの局所的報酬に再配分する方法を開発し、協調性を維持すること。
• 既存の強化学習アルゴリズムへの最小限の変更で、分散型方策の訓練を可能にする中央集権的訓練分散型実行（CTDE）パラダイムへの統合を可能にすること。
• 長時間スパンとスパars報酬を有する環境、例えば拡張された MiniGrid 環境（MultiRoom, DoorKey）におけるモデルの評価を行うこと。

提案手法

• ATA は、報酬再配分のためのエージェント固有および時間的表現の上でのアテンションを計算するトランスフォーマー型アーキテクチャを用いる。
• 補助予測損失を用いて、チーム全体の報酬と個々のエージェントの報酬の両方を予測するようにモデルを学習させる。
• 二重の監視戦略を採用：中間ステップと最終ステップでの報酬予測を実施し、時間的信用配分を向上させる。
• グローバル損失とローカル損失の組み合わせにより報酬再配分を訓練し、損失成分の重要性を評価するためのアブレーションスタディを実施する。
• IPG や IAC などの標準的な方策勾配法と互換性があり、既存のマルチエージェント強化学習フレームワークへの即座の統合が可能である。
• LSTM とトランスフォーマーのエンコーダー、および内部表現の平均化とアテンションベースの集約の比較を通じて、アーキテクチャのアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 エージェントと時間の両方における統合的信用配分は、スパars報酬のマルチエージェント環境における学習をどのように改善するか？
• RQ2 遅延報酬を伴うマルチエージェント強化学習において、時間的信用配分とエージェントごとの信用配分の相対的寄与度は何か？
• RQ3 アーキテクチャの選択（例：トランスフォーマー対 LSTM、アテンション対平均集約）は、報酬再配分モデルの性能にどのように影響を与えるか？
• RQ4 どの損失構成（グローバル／ローカル、中間ステップ／最終ステップ）が、スパars報酬のマルチエージェント強化学習における最適な方策学習をもたらすか？
• RQ5 ATA は、長時間スパンとスパars報酬を有する多様なマルチエージェント環境に一般化可能か？

主な発見

• 拡張された MiniGrid 環境におけるスパars報酬の設定において、エージェント軸または時間軸のいずれかにのみ信用配分を行う手法を含む強力なベースラインを、ATA は上回っている。
• 中間ステップでの予測損失を用いた訓練は、性能を顕著に向上させ、早期の監視が時間的信用配分を強化することを示唆している。
• トランスフォーマー型アーキテクチャは、初期学習段階で LSTMs を常に上回り、信用配分に適したシーケンスモデリングを示している。
• エージェント表現の単純な平均化は、より複雑なアテンション機構よりもしばしば優れた性能を示すが、これは低エージェント数設定における勾配安定性の観点から説明可能である。
• グローバル損失とローカル損失の組み合わせは、一貫した性能向上をもたらさない。一部のケースでは、グローバル損失のみが最良の結果をもたらしている。
• IAC は報酬再配分の有無に関わらず性能が低く、スパars報酬環境における評価器信号の質の低さが原因である可能性が高く、堅牢な価値学習の重要性を浮き彫りにしている。