[論文レビュー] Robust Multi-Agent Reinforcement Learning with State Uncertainty

Sihong He, Songyang Han+4 more|arXiv (Cornell University)|Jul 30, 2023

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

この論文は、状態摂動敵に対するマルコフゲームを定義し、頑健平衡の存在を証明し、状態不確実性下の MARL のための収束保証を持つ RMAQ および RMAAC アルゴリズムを提案します。

ABSTRACT

In real-world multi-agent reinforcement learning (MARL) applications, agents may not have perfect state information (e.g., due to inaccurate measurement or malicious attacks), which challenges the robustness of agents' policies. Though robustness is getting important in MARL deployment, little prior work has studied state uncertainties in MARL, neither in problem formulation nor algorithm design. Motivated by this robustness issue and the lack of corresponding studies, we study the problem of MARL with state uncertainty in this work. We provide the first attempt to the theoretical and empirical analysis of this challenging problem. We first model the problem as a Markov Game with state perturbation adversaries (MG-SPA) by introducing a set of state perturbation adversaries into a Markov Game. We then introduce robust equilibrium (RE) as the solution concept of an MG-SPA. We conduct a fundamental analysis regarding MG-SPA such as giving conditions under which such a robust equilibrium exists. Then we propose a robust multi-agent Q-learning (RMAQ) algorithm to find such an equilibrium, with convergence guarantees. To handle high-dimensional state-action space, we design a robust multi-agent actor-critic (RMAAC) algorithm based on an analytical expression of the policy gradient derived in the paper. Our experiments show that the proposed RMAQ algorithm converges to the optimal value function; our RMAAC algorithm outperforms several MARL and robust MARL methods in multiple multi-agent environments when state uncertainty is present. The source code is public on \url{https://github.com/sihongho/robust_marl_with_state_uncertainty}.

研究の動機と目的

• エラーや攻撃による状態情報の不完全性がある場合の MARL の頑健性を動機づける。
• 最悪ケースの状態摂動を伴う MARL を、状態摂動敵を持つマルコフゲーム（MG-SPA）として定式化する。
• 解法概念として頑健平衡（RE）を定義し、その存在と特性を研究する。
• RE を見つけるための収束保証付き学習アルゴリズム（RMAQ および RMAAC）を開発する。
• 状態摂動下での多エージェント環境における頑健性と有効性を経験的に検証する。

提案手法

• 各エージェントを状態摂動 adversary と対になるように MG-SPA を導入し、真値状態を摂動状態へ写像する摂動関数 f を設ける。
• ポリシーと adversary の下で価値関数 v, q を定義し、MG-SPA のベルマン方程式を確立する。
• 頑健平衡（RE）を、エージェントが adversary および他のエージェントに対して最適化するナッシュ平衡風の解として定義する。
• 最適値関数の存在性/一意性を保証するように minimax 演算子の縮約特性と関数空間の完備性を証明する。
• MG-SPA に関連付けられた展開的形式のゲームを構築し、固定点の議論を適用することで RE の存在性が導かれることを示す。
• 頑健 Q 学習（RMAQ）と高次元空間に対する頑健アクタークリティック（RMAAC）を提示し、収束保証を示す。

実験結果

リサーチクエスチョン

• RQ1 状態摂動敵を持つマルコフゲーム（MG-SPA）における頑健平衡の存在を保証する条件は何か。
• RQ2 各エージェントが最悪ケースの状態摂動に直面する際、頑健なポリシーをどのように計算できるか。
• RQ3 MG-SPA の収束学習アルゴリズムは存在するか、状態不確実性下でベースラインとどう比較されるか。
• RQ4 履歴依存ポリシーの導入は MG-SPA の頑健平衡にどのような影響を与えるか。
• RQ5 異種的な摂動（異なる f と ε）を取り入れても理論的保証を維持できるか。

主な発見

• MG-SPA は前提条件の下で頑健平衡を許容し、最適値関数は存在し、かつ一意である。
• ミニマックス・ベルマン方程式は頑健最適解と RE ポリシーを特徴づける。
• RMAQ は MG-SPA 設定に対して最適値関数へ収束する。
• RMAAC は高次元の状態-行動空間を効果的に扱い、状態摂動下の実験でベースラインを上回る。
• フレームワークは異種エージェント/ adversary への一般化や、履歴依存ポリシーへの拡張で保証を維持する。