[논문 리뷰] Mis-spoke or mis-lead: Achieving Robustness in Multi-Agent Communicative Reinforcement Learning

Wanqi Xue, Wei Qiu외 4명|arXiv (Cornell University)|2021. 08. 09.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 11

한 줄 요약

이 논문은 악성 메시지 공격에 취약한 다중 에이전트 의사소통 강화학습(MACRL)을 위한 강건한 프레임워크를 제안한다. 악성 메시지를 탐지하고 복원하기 위한 이중 단계 메시지 필터와, 공격-방어를 제로섬 게임으로 모델링하여 최악의 경우 성능을 향상시키는 게임 이론적 방법 $ρ$-MACRL을 도입한다. 이는 다양한 MACRL 알고리즘과 환경에서 공격 상황에서도 협업 능력을 크게 향상시킨다.

ABSTRACT

Recent studies in multi-agent communicative reinforcement learning (MACRL) have demonstrated that multi-agent coordination can be greatly improved by allowing communication between agents. Meanwhile, adversarial machine learning (ML) has shown that ML models are vulnerable to attacks. Despite the increasing concern about the robustness of ML algorithms, how to achieve robust communication in multi-agent reinforcement learning has been largely neglected. In this paper, we systematically explore the problem of adversarial communication in MACRL. Our main contributions are threefold. First, we propose an effective method to perform attacks in MACRL, by learning a model to generate optimal malicious messages. Second, we develop a defence method based on message reconstruction, to maintain multi-agent coordination under message attacks. Third, we formulate the adversarial communication problem as a two-player zero-sum game and propose a game-theoretical method R-MACRL to improve the worst-case defending performance. Empirical results demonstrate that many state-of-the-art MACRL methods are vulnerable to message attacks, and our method can significantly improve their robustness.

연구 동기 및 목표

• 최신 MACRL 방법의 악성 메시지 조작에 대한 취약성을 조사하기 위해.
• 다중 에이전트 협업을 방해하기 위해 최적의 악성 메시지를 학습하는 효과적인 공격 모델을 설계하기 위해.
• 이상치를 탐지하고 원래 메시지를 복원함으로써 공격에 대응하기 위한 이중 단계 메시지 필터를 개발하기 위해.
• 공격-방어 상호작용을 이중자 제로섬 게임으로 공식화하여 최악의 경우 성능을 향상시키기 위해.
• 다양한 MACRL 알고리즘과 환경에서 제안된 방어 전략의 유효성을 검증하기 위해.

제안 방법

• 공격은 PPO를 사용해 최적의 악성 메시지를 생성하는 정책을 훈련시켜 모델링되며, 다중 에이전트 협업을 방해하기 위한 목적으로 한다.
• 이중 단계 메시지 필터가 제안되며, 첫 번째 단계는 이상 메시지를 식별하는 이상치 탐지기이고, 두 번째 단계는 학습된 오토에인코더 유사 구조를 사용해 원래 메시지를 복원하는 메시지 복원기이다.
• 방어 메커니즘이 MACRL 훈련 파이프라인에 통합되어, 활성 메시지 공격 상황에서도 에이전트가 협업을 유지할 수 있도록 한다.
• 공격-방어 문제를 이중자 제로섬 게임으로 공식화하고, PSRO 프레임워크를 사용해 나시 균형 정책을 근사하는 $ρ$-MACRL이 개발된다.
• 게임 이론적 접근은 훈련 중 최악의 공격 시나리오를 고려함으로써 성능 향상을 보장한다.
• 메시지 필터 구성 요소에 대한 분리 실험을 포함해, 다양한 MACRL 알고리즘(MADQN, MAPPO 등)과 환경(NDQ, Hanabi 등)에서 평가된다.

실험 결과

연구 질문

• RQ1 최신 MACRL 알고리즘은 악성 메시지 공격에 얼마나 취약한가?
• RQ2 학습 가능한 메시지 필터가 악성 메시지를 효과적으로 탐지하고 복원하여 협업을 복구할 수 있는가?
• RQ3 이상치 탐지기와 메시지 복원기와 같은 개별 구성 요소가 필터 성능에 미치는 영향은 무엇인가?
• RQ4 게임 이론적 방어 전략은 악성 의사소통 상황에서 최악의 경우 성능을 향상시킬 수 있는가?
• RQ5 제안된 $ρ$-MACRL 프레임워크는 기존 방어 메커니즘을 초월해 MACRL의 강건성을 어떻게 향상시키는가?

주요 결과

• MADQN 및 MAPPO와 같은 최신 MACRL 방법들은 메시지 공격에 매우 취약하며, 악성 조건 하에서 성능이 크게 떨어진다.
• 제안된 이중 단계 메시지 필터는 공격 상황에서도 다중 에이전트 협업을 복원하며, 이상치 탐지기와 메시지 복원기 모두가 높은 성능을 위해 필수적임을 입증한다.
• 여러 명의 공격자가 존재하는 상황에서는 메시지 필터가 협업 복구를 가능하게 하지만, 더 많은 훈련 스텝이 필요하다.
• NDQ 환경에서, $ρ$-MACRL로 훈련된 에이전트는 4bane_vs_hM 시나리오에서 기대 효용값 $15.86 \pm 0.08$를 달성했으며(기본 방어 방식 대비 $15.50 \pm 0.29$), 성능이 향상되었다.
• 1o_3r_vs_4r 시나리오에서는 $ρ$-MACRL가 기대 효용값을 $18.39 \pm 0.80$까지 향상시켰고, 기본 접근 방식 대비 $17.03 \pm 0.53$보다 높았다.
• 분리 실험 결과, 이상치 탐지기나 메시지 복원기를 비활성화할 경우 방어 성능가 심각하게 악화되어, 두 구성 요소 모두 핵심임을 입증했다.