[論文レビュー] What is the Solution for State-Adversarial Multi-Agent Reinforcement Learning?

Songyang Han, Sanbao Su+5 more|arXiv (Cornell University)|Dec 6, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、標準的な最適方策やロバストナッシュ均衡が存在しない可能性がある敵対的状態摂動下でのマルチエージェント強化学習をモデル化するため、状態敵対的マルコフゲーム（SAMG）を導入する。また、最も悪い状況下での期待報酬を最大化する新たな解概念「ロバストエージェント方策」を提案し、勾配降下・上昇を用いたRMA3Cアルゴリズムを開発。実験では、状態攻撃に対して優れたロバスト性を示した。

ABSTRACT

Various methods for Multi-Agent Reinforcement Learning (MARL) have been developed with the assumption that agents' policies are based on accurate state information. However, policies learned through Deep Reinforcement Learning (DRL) are susceptible to adversarial state perturbation attacks. In this work, we propose a State-Adversarial Markov Game (SAMG) and make the first attempt to investigate different solution concepts of MARL under state uncertainties. Our analysis shows that the commonly used solution concepts of optimal agent policy and robust Nash equilibrium do not always exist in SAMGs. To circumvent this difficulty, we consider a new solution concept called robust agent policy, where agents aim to maximize the worst-case expected state value. We prove the existence of robust agent policy for finite state and finite action SAMGs. Additionally, we propose a Robust Multi-Agent Adversarial Actor-Critic (RMA3C) algorithm to learn robust policies for MARL agents under state uncertainties. Our experiments demonstrate that our algorithm outperforms existing methods when faced with state perturbations and greatly improves the robustness of MARL policies. Our code is public on https://songyanghan.github.io/what_is_solution/.

研究の動機と目的

• 敵対的状態摂動下でのマルチエージェント強化学習の課題を形式化し、標準的なMARLの仮定が成立しない状況を扱う。
• 状態の不確実性下で、最適エージェント方策やロバストナッシュ均衡といった既存の解概念に内在する根本的な限界を特定する。
• 敵対的状態摂動下で、最も悪い状況下の期待状態価値を最大化するという新たな解概念「ロバストエージェント方策」を提案する。
• 勾配降下・上昇を用いたミニマックスフレームワークで、エージェントと敵対的状態生成者を同時に学習するRMA3Cアルゴリズムを設計・評価する。
• ランダムおよび敵対的状態摂動下で、RMA3Cがベースラインを上回るロバスト性を実証的に検証する。

提案手法

• 最悪の状態摂動下でのMARLをモデル化するため、状態敵対的マルコフゲーム（SAMG）を形式化する。
• 敵対的摂動に対する最悪の期待状態価値を最大化するという、新たな解概念「ロバストエージェント方策」を導入する。
• 固定点の議論を用いて、有限状態および有限行動を有するSAMGにおいてロバストエージェント方策の存在を証明する。
• エージェントと敵対的状態生成者を同時に学習するため、勾配降下・上昇（GDA）最適化子を用いたロバストマルチエージェントアドバーシャルアクターキャッチ（RMA3C）アルゴリズムを提案する。
• 集中型のクリティックを用いて最悪の報酬を推定し、敵対的状態摂動に基づいてアクトローネットワークを更新する。
• エージェントが最悪の報酬を最大化し、敵対的状態生成者がそれを最小化するミニマックス訓練目的関数を採用し、最悪状態攻撃をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 敵対的状態摂動が存在する状況下で、最適エージェント方策やロバストナッシュ均衡といった標準的なMARL解概念は存在するのか？
• RQ2 最悪状態不確実性下でのMARLに対して、明確な解概念を定式化することは可能か？
• RQ3 敵対的状態摂動下でも性能を維持するロバスト方策を学習することは可能か？
• RQ4 敵対的状態攻撃を伴うマルチエージェント設定において、ミニマックス訓練目的関数を効果的に最適化する方法は何か？
• RQ5 提案されたRMA3Cアルゴリズムは、敵対的状態摂動下で、既存のMARLベースラインと比較してどの程度ロバスト性が向上するか？

主な発見

• 最適エージェント方策やロバストナッシュ均衡は、状態敵対的マルコフゲーム（SAMG）において常に存在するとは限らず、敵対的状態不確実性下での既存の解概念の根本的限界を明らかにした。
• 最悪の期待状態価値を最大化するという定義に基づく、提案されたロバストエージェント方策は、有限状態および有限行動を有するSAMGにおいて存在することが証明された。
• 6エージェントのCN環境において、熟練した敵対的状態摂動下でテストした結果、RMA3Cはベースラインと比較して平均エピソード報酬が最大9.57%高い結果を達成した。
• 実験結果から、RMA3Cはランダムおよび敵対的状態摂動下で、既存のMARL手法と比較して顕著に高い方策のロバスト性を示した。
• 協力的でない環境や、協力的・競争的要因を併せ持つ混合環境でも、RMA3Cは強力な性能を示した。これは、純粋な協力的設定にとどまらず、より広範な応用可能性を示唆している。
• RMA3CにおけるGDA最適化子の使用により、効果的なミニマックス訓練が可能となったが、非凸非凹な設定では収束が保証されないという課題が残っており、今後のアルゴリズム改善の余地があることを示唆している。