[논문 리뷰] Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms

Alexander Bukharin, Yan Li외 7명|arXiv (Cornell University)|2023. 10. 16.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

본 논문은 악의적 규제(adversarial regularization)를 통해 정책 Lipschitz 연속성을 강제함으로써 강건한 다-에이전트 RL 프레임워크인 ERNIE를 제시하고, 안정성을 위해 Stackelberg 게임으로 재정식화하며, 평균장(mean-field) MARL 확장을 제시한다.

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) has shown promising results across several domains. Despite this promise, MARL policies often lack robustness and are therefore sensitive to small changes in their environment. This presents a serious concern for the real world deployment of MARL algorithms, where the testing environment may slightly differ from the training environment. In this work we show that we can gain robustness by controlling a policy's Lipschitz constant, and under mild conditions, establish the existence of a Lipschitz and close-to-optimal policy. Based on these insights, we propose a new robust MARL framework, ERNIE, that promotes the Lipschitz continuity of the policies with respect to the state observations and actions by adversarial regularization. The ERNIE framework provides robustness against noisy observations, changing transition dynamics, and malicious actions of agents. However, ERNIE's adversarial regularization may introduce some training instability. To reduce this instability, we reformulate adversarial regularization as a Stackelberg game. We demonstrate the effectiveness of the proposed framework with extensive experiments in traffic light control and particle environments. In addition, we extend ERNIE to mean-field MARL with a formulation based on distributionally robust optimization that outperforms its non-robust counterpart and is of independent interest. Our code is available at https://github.com/abukharin3/ERNIE.

연구 동기 및 목표

• 관찰 노이즈, 변화하는 전이 다이나믹스, 악의적 에이전트 행동에 대한 MARL의 강건성에 동기를 부여한다.
• 환경의 매끄러움과 정책 강건성 사이의 이론적 연계를 제시하고 Lipschitz 정규화를 원칙적인 사전(prior)으로 정당화한다.
• Adversarial regularization를 통해 매끄럽고 거의 최적에 근접한 정책을 학습하도록 ERNIE를 개발한다.
• adversarial training을 Stackelberg 게임으로 재정식화하여 학습의 불안정을 해소한다.
• ER NIE를 mean-field MARL로 확장하고 대규모 환경에서의 강건성 향상을 입증한다.

제안 방법

• perturbed 및 비perturbed 관찰에서 정책의 출력 차이를 최소화하도록 adversarial regularization를 제안하여 Lipschitz 연속성을 촉진한다.
• 수호자(정책)가 공격자의 반응을 예측하도록 Stackelberg gradient를 활용하여 정규화를 Stackelberg 게임으로 정형화한다.
• 정규화항 R_pi(o_k;θ_k) = max||δ||≤ε D(πθ_k(o_k+δ), πθ_k(o_k))를 도입하고 이를 학습 목적에 추가한다.
• 에이전트의 악의적 행동에 대응하기 위해 공동 행동에 대해 글로벌 Q-함수를 정규화함으로써 규제를 확장하고 에이전트 교란 하의 안정성을 촉진한다.
• mean-field MARL에 Wasserstein 기반 정규화를 mean-field 항에 적용한 분포적 강건화(distributionally robust optimization)로 확장한다.
• 환경 매끄러움과 매끄러운 근사 정책의 존재 및 매끄러운 정책의 강건성 간의 이론적 보장을 제시한다.

실험 결과

연구 질문

• RQ1 관찰 노이즈와 동적 변화하에서 정책의 Lipschitz 연속성이 MARL의 강건성을 향상시킬 수 있는가?
• RQ2 매끄러운 환경 가정 하에서 매끄럽고 거의 최적에 근접한 정책이 존재하는가, 그리고 신경망이 이를 충분히 잘 학습할 수 있는가?
• RQ3 대립적 규제가 성능을 희생하지 않으면서 MARL의 강건성을 개선하는가, 그리고 Stackelberg 구성을 통해 학습이 안정화될 수 있는가?
• RQ4 여러 에이전트 설정에서 확장 가능한 강건성을 위해 ERNIE를 mean-field MARL로 어떻게 확장할 수 있는가?
• RQ5 트래픽 라이트 제어 및 입자 환경과 같은 과제들에서 ERNIE의 강건성을 입증하는 증거는 무엇인가?

주요 결과

• ERNIE는 adversarial regularization를 통해 정책의 Lipschitz 연속성을 촉진하고 관찰 교란에 대한 강건성을 향상시킨다.
• Stackelberg 구형은 MARL에서 adversarial regularization에 대한 학습 동역학을 더 매끄럽고 안정적으로 만든다.
• 매끄러운 환경에서 거의 최적에 근접한 매끄러운 정책이 존재하며, 넓은 네트워크가 이러한 정책을 우수한 Lipschitz 특성으로 근사할 수 있다.
• mean-field MARL에 분포적 강건화(distributionally robust optimization)를 적용한 ERNIE 확장은 대규모 에이전트 환경에서 강건성 이점을 제공한다.
• 트래픽 라이트 제어 및 입자 환경에서의 실험은 평가 조건이 교란되었을 때 ERNIE 기반 강건성이 기준선보다 뛰어남을 보여준다.