[論文レビュー] Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms

Alexander Bukharin, Yan Li+7 more|arXiv (Cornell University)|Oct 16, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

要約: 本論文は、逆境的正則化を通じてポリシーのリップシッツ連続性を強制することで堅牢な多エージェント強化学習を実現するERNI Eを導入し、安定性のためにStackelbergゲームへ再編成、平均場MARLへの拡張を行う。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) has shown promising results across several domains. Despite this promise, MARL policies often lack robustness and are therefore sensitive to small changes in their environment. This presents a serious concern for the real world deployment of MARL algorithms, where the testing environment may slightly differ from the training environment. In this work we show that we can gain robustness by controlling a policy's Lipschitz constant, and under mild conditions, establish the existence of a Lipschitz and close-to-optimal policy. Based on these insights, we propose a new robust MARL framework, ERNIE, that promotes the Lipschitz continuity of the policies with respect to the state observations and actions by adversarial regularization. The ERNIE framework provides robustness against noisy observations, changing transition dynamics, and malicious actions of agents. However, ERNIE's adversarial regularization may introduce some training instability. To reduce this instability, we reformulate adversarial regularization as a Stackelberg game. We demonstrate the effectiveness of the proposed framework with extensive experiments in traffic light control and particle environments. In addition, we extend ERNIE to mean-field MARL with a formulation based on distributionally robust optimization that outperforms its non-robust counterpart and is of independent interest. Our code is available at https://github.com/abukharin3/ERNIE.

研究の動機と目的

• 観測ノイズ、変化する遷移ダイナミクス、そして悪意あるエージェントの行動に対してMARLの堅牢性を動機付ける。
• 環境の滑らかさとポリシーの堅牢性を理論的に結びつけ、リップシッツ正則化を principled pri orとして正当化する。
• 逆境的正則化を通じて滑らかでほぼ最適なポリシーを学習するERNIEを開発する。
• Stackelbergゲームとして逆境的訓練を再編成し訓練の不安定性に対処する。
• ERNI Eを平均場MARLへ拡張し、大規模設定での堅牢性向上を示す。

提案手法

• 観測の攪乱・非攪乱観測間のポリシー出力の差異を最小化する逆境的正則化を提案し、リップシッツ連続性を促進する。
• defender（ポリシー）が attacker の応答を予測するStackelbergゲームとして正則化を定式化し、Stackelberg勾配を介して学習する。
• 正則化項 R_pi(o_k;θ_k) = max||δ||≤ε D(πθ_k(o_k+δ), πθ_k(o_k)) を導入し、学習目的に付加する。
• 悪意ある行動にも対応できるよう、グローバルQ関数をジョイント行動に対して正則化し、エージェント攪乱下の安定性を促進する。
• Wassersteinベースの正則化を用いた平均場項に対する分布的ロバスト最適化を用いて、ERNI Eを平均場MARLへ拡張する。
• 環境の滑らかさが滑らかなほぼ最適ポリシーの存在と、滑らかなポリシーの堅牢性に結びつくことを理論的に保証する。

実験結果

リサーチクエスチョン

• RQ1 観測ノイズや動的変化の下でポリシーのリップシッツ連続性はMARLの堅牢性を改善するか。
• RQ2 滑らかな環境仮定の下で滑らかなほぼ最適ポリシーは存在し、それをニューラルネットワークが十分に学習できるか。
• RQ3 逆境的正則化はパフォーマンスを損なうことなくMARLの堅牢性を高め、Stackelberg形態で訓練を安定化できるか。
• RQ4 多数エージェント設定でのスケーラブルな堅牢性のためにERNI Eを平均場MARLへ拡張できるか。
• RQ5 交通信号制御や粒子環境などのタスクでERNI Eの堅牢性がベースラインよりも向上するという証拠はあるか。

主な発見

• 逆境的正則化を介してポリシーのリップシッツ連続性を促進し、観測攪乱に対する堅牢性を向上させる。
• Stackelberg形式はMARLにおける逆境的正則化の訓練ダイナミクスをより滑らかで安定させる。
• 滑らかな環境にはほぼ最適な滑らかなポリシーが存在し、広いニューラルネットはそのようなポリシーをリップシッツ特性を有して近似できる。
• 分布的ロバスト最適化を用いた平均場MARLへの拡張は、多エージェント設定での堅牢性をもたらす。
• 交通信号制御と粒子環境の実験は、摂動評価条件下でERNI Eがベースラインよりも堅牢性を示す。