[논문 리뷰] On the Robustness of Cooperative Multi-Agent Reinforcement Learning

Jieyu Lin, Kristina Dzeparoska외 3명|arXiv (Cornell University)|2020. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 14

한 줄 요약

이 논문은 협력적 다중에이전트강화학습(c-MARL)을 악용하는 새로운 이단계 공격 프레임워크를 제안한다. 먼저 공격 정책을 학습하여 해로운 행동을 식별하고, 이후 타겟 공격 예측 예제를 사용해 단일 피해자 에이전트의 관측을 조작한다. 이 공격는 스타크래프트 II 벤치마크에서 팀 보상치를 20에서 9.4로 감소시키고, 승리 확률을 98.9%에서 0%로 떨어뜨린다. 이는 오직 8.33 L1 노름의 교란으로도 가능하다.

ABSTRACT

In cooperative multi-agent reinforcement learning (c-MARL), agents learn to cooperatively take actions as a team to maximize a total team reward. We analyze the robustness of c-MARL to adversaries capable of attacking one of the agents on a team. Through the ability to manipulate this agent's observations, the adversary seeks to decrease the total team reward. Attacking c-MARL is challenging for three reasons: first, it is difficult to estimate team rewards or how they are impacted by an agent mispredicting; second, models are non-differentiable; and third, the feature space is low-dimensional. Thus, we introduce a novel attack. The attacker first trains a policy network with reinforcement learning to find a wrong action it should encourage the victim agent to take. Then, the adversary uses targeted adversarial examples to force the victim to take this action. Our results on the StartCraft II multi-agent benchmark demonstrate that c-MARL teams are highly vulnerable to perturbations applied to one of their agent's observations. By attacking a single agent, our attack method has highly negative impact on the overall team reward, reducing it from 20 to 9.4. This results in the team's winning rate to go down from 98.9% to 0%.

연구 동기 및 목표

• 협력적 다중에이전트강화학습(c-MARL) 시스템이 단일 에이전트의 관측을 대상으로 한 공격적 조작에 얼마나 취약한지 조사하는 것.
• 비가역적 가치 함수, 행동이 잘못되었을 때의 보상 추정의 열악함, 저차원 입력 공간 등에서 효과적인 공격를 구현하는 데 있어 발생하는 과제를 다루는 것.
• 강화학습 기반 정책 탐색과 기울기 기반 공격 예측 예제 생성을 조합한 이단계 공격 방법을 개발하는 것.
• 실제 세계 벤치마크에서 공격의 효과를 평가하여 팀 보상과 승리 확률을 최소한의 교란 예산으로 감소시키는 것.
• 안전 임상 인프라에 구현된 c-MARL 시스템에서 강건한 방어 메커니즘이 급하게 필요하다는 점을 부각하는 것.

제안 방법

• 공격 정책을 강화학습을 통해 학습시켜, 피해자 에이전트에 대한 블랙박스 접근만으로 팀의 총 보상을 최소화하는 행동을 식별한다.
• 수정된 기울기 기반 방법(d-JSMA)을 사용해 피해자 에이전트가 공격 정책이 식별한 행동을 수행하도록 유도하는 타겟 공격 예측 예제를 생성한다.
• 저차원 입력 공간에 적응하기 위해 하이퍼파ram터를 동적으로 조정하고, 공격의 가능성을 향상시키기 위해 정규화 페널티를 통합한다.
• 팀 성능을 최대한 악화시키는 행동을 유도하기 위해 OWR(Optimal Worst Reward) 정책 선택 전략을 통합한다.
• 공격자가 단일 에이전트의 관측만을 교란하여 팀의 협력을 무너뜨리는 스타크래프트 II 다중에이전트 환경에 이단계 공격를 적용한다.
• d-JSMA와 OWR 기반 정책의 조합을 통해 최소한의 교란으로도 높은 성공률를 확보하며, 광범위한 분석 및 기준 방법과의 비교를 통해 검증한다.

실험 결과

연구 질문

• RQ1 협력적 다중에이전트강화학습 팀은 단일 에이전트의 관측을 대상으로 한 공격적 조작에 얼마나 취약한가?
• RQ2 비가역적 가치 함수와 저차원 입력 등으로 인해 c-MARL 시스템에 효과적인 공격를 구현하는 데 있어 핵심 과제는 무엇인가?
• RQ3 강화학습 기반 정책 탐색과 기울기 기반 공격 예측 예제 생성을 조합한 이단계 공격가 최소한의 교란으로 팀 성능을 효과적으로 악화시킬 수 있는가?
• RQ4 제안된 공격는 기존의 공격적 공격 방법과 비교해 교란 예산과 보상 감소 측면에서 어떻게 다른가?
• RQ5 단일로 교란된 에이전트는 협력적 MARL 환경에서 전체 팀의 협력과 승리 확률을 얼마나 심각하게 파괴할 수 있는가?

주요 결과

• 제안된 이단계 공격는 스타크래프트 II 벤치마크에서 팀의 총 보상을 20에서 9.4로 감소시켜 심각한 성능 저하를 나타낸다.
• 단일 에이전트가 공격를 받을 경우 팀의 승리 확률은 98.9%에서 0%로 급격히 감소하여, 최소한의 교란으로도 거의 완전한 시스템 실패를 초래한다.
• d-JSMA+OWR 변형은 최적의 트레이드오프를 달성하여 평균적으로 8.33 L1 노름의 교란만으로도 최대 보상 감소를 유도한다.
• 공격 방법은 낮은 교란으로도 높은 성공률를 달성하며, 교란 분포에서 0 근처에 피크 밀도가 나타나 최소한의 관측 변화로도 효과가 있음을 보여준다.
• 공격는 피해자 에이전트를 직접 제어하는 것과 유사한 행동을 모방하여, 팀에서 멀어지거나 적군 영역으로 들어가는 등 열등한 행동으로 유도한다.
• 공격 정책 학습 시 정규화를 통합함으로써, 비정규화 기준 대비 공격의 가능성이 크게 향상되고 교란이 감소한다.