[论文解读] Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms

Alexander Bukharin, Yan Li+7 more|arXiv (Cornell University)|Oct 16, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文提出 ERNIE，通过对抗性正则化强制策略的 Lipschitz 连续性来实现鲁棒多智能体强化学习，通过 Stackelberg 博弈 reformulation 实现稳定性，并扩展到 mean-field MARL。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) has shown promising results across several domains. Despite this promise, MARL policies often lack robustness and are therefore sensitive to small changes in their environment. This presents a serious concern for the real world deployment of MARL algorithms, where the testing environment may slightly differ from the training environment. In this work we show that we can gain robustness by controlling a policy's Lipschitz constant, and under mild conditions, establish the existence of a Lipschitz and close-to-optimal policy. Based on these insights, we propose a new robust MARL framework, ERNIE, that promotes the Lipschitz continuity of the policies with respect to the state observations and actions by adversarial regularization. The ERNIE framework provides robustness against noisy observations, changing transition dynamics, and malicious actions of agents. However, ERNIE's adversarial regularization may introduce some training instability. To reduce this instability, we reformulate adversarial regularization as a Stackelberg game. We demonstrate the effectiveness of the proposed framework with extensive experiments in traffic light control and particle environments. In addition, we extend ERNIE to mean-field MARL with a formulation based on distributionally robust optimization that outperforms its non-robust counterpart and is of independent interest. Our code is available at https://github.com/abukharin3/ERNIE.

研究动机与目标

• 在 MARL 中对抗观测噪声、转移动力学变化以及恶意代理行为的鲁棒性进行动机说明。
• 在理论上将环境平滑性与策略鲁棒性联系起来，并证明 Lipschitz 正则化作为一种有 principled 的先验。
• 开发 ERNIE，通过对抗性正则化学习平滑、接近最优的策略。
• 通过将对抗性训练改写为 Stackelberg 博弈来解决训练不稳定性。
• 将 ERNIE 扩展到 mean-field MARL，并在大规模设置中展示鲁棒性提升。

提出的方法

• 提出对抗性正则化以最小化策略在扰动与非扰动观测下输出的差异，从而促进 Lipschitz 连续性。
• 将正则化形式化为 Stackelberg 博弈，其中防御方（策略）通过 Stackelberg 梯度预测攻击者的响应。
• 引入正则化项 R_pi(o_k;θ_k) = max||δ||≤ε D(πθ_k(o_k+δ), πθ_k(o_k))，并将其加入学习目标。
• 将正则化扩展以处理恶意行为，通过对联合行动的全局 Q 函数进行正则化，在代理扰动下促进稳定性。
• 使用 Wasserstein 基于正则化的分布式鲁棒优化，将 ERNIE 扩展到 mean-field MARL 的分布式鲁棒性。
• 给出理论保障，将环境平滑性与存在平滑近似最优策略以及平滑策略的鲁棒性联系起来。

实验结果

研究问题

• RQ1 在观测噪声和动态变化下，策略的 Lipschitz 连续性是否能提高 MARL 的鲁棒性？
• RQ2 在光滑环境假设下，是否存在平滑的近似最优策略，神经网络是否能较好地学习它们？
• RQ3 对抗性正则化是否能在不牺牲性能的情况下提升 MARL 的鲁棒性，且是否可通过 Stackelberg 形式实现训练稳定？
• RQ4 如何将 ERNIE 扩展到 mean-field MARL，以实现大规模多代理场景的鲁棒性？
• RQ5 在交通信号灯控制和粒子环境等任务中，有哪些证据显示 ERNIE 的鲁棒性优于基线？

主要发现

• ERSIE 通过对抗性正则化推动策略的 Lipschitz 连续性，从而提升对观测扰动的鲁棒性。
• Stackelberg 形式为 MARL 中对抗性正则化提供了更平滑、更稳定的训练动力学。
• 在光滑环境中存在近似最优的平滑策略，且较宽的神经网络可以以有利的 Lipschitz 属性来近似此类策略。
• 将 ERNIE 扩展到 mean-field MARL 的分布式鲁棒优化，在大代理设置中带来鲁棒性收益。
• 在交通信号灯控制和粒子环境的实验中，ERnIE 在评估条件受扰动时相对于基线表现出更强的鲁棒性。