[논문 리뷰] Sparse Adversarial Attack in Multi-agent Reinforcement Learning

Yizheng Hu, Zhihua Zhang|arXiv (Cornell University)|2022. 05. 19.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 협동 다에이전트 강화학습(cMARL)에 대해 강화학습 기반의 희박한 적대적 공격 방법을 제안한다. 이 방법은 희박한 시간 단계에서 소수의 에이전트만 공격한다. 이 방법은 규칙 기반 기준선보다 뛰어나며, QMIX, VDN, QTRAN 정책이 매우 취약하다는 것을 입증한다. 단지 1~5명의 에이전트가 전체 타임스텝의 소수에 걸쳐 공격을 받더라도 승리 확률이 크게 감소하며, 현재 cMARL 알고리즘의 심각한 강건성 결함을 드러낸다.

ABSTRACT

Cooperative multi-agent reinforcement learning (cMARL) has many real applications, but the policy trained by existing cMARL algorithms is not robust enough when deployed. There exist also many methods about adversarial attacks on the RL system, which implies that the RL system can suffer from adversarial attacks, but most of them focused on single agent RL. In this paper, we propose a extit{sparse adversarial attack} on cMARL systems. We use (MA)RL with regularization to train the attack policy. Our experiments show that the policy trained by the current cMARL algorithm can obtain poor performance when only one or a few agents in the team (e.g., 1 of 8 or 5 of 25) were attacked at a few timesteps (e.g., attack 3 of total 40 timesteps).

연구 동기 및 목표

• 현재 협동 다에이전트 강화학습(cMARL) 정책이 소수의 에이전트가 희박한 시간 단계에서 공격을 받는 상황에서도 강건한지 조사하기 위해.
• 휴리스틱 또는 규칙 기반 방법이 아닌 (MA)RL을 사용하여 최적의 희박한 공격 전략을 개발하기 위해.
• SMAC 환경에서 QMIX, VDN, QTRAN과 같은 최신 cMARL 알고리즘의 희박한 공격에 대한 취약성을 평가하기 위해.
• 기존 cMARL 정책이 최소한의 타겟 공격에 취약하여 실세계 적용에 부적절하다는 것을 입증하기 위해.

제안 방법

• 공격 정책은 정규화를 사용한 (MA)RL로 훈련되어 공격 단계를 최소화하면서 보상 감소를 극대화하도록 최적화된다.
• 이 방법은 에이전트와 시간 차원 양쪽에서 희박성을 모델링하며, 타겟 에이전트와 최적의 공격 타임스텝을 동시에 학습한다.
• 공격 효과성과 희박성의 균형을 맞추기 위해 정규화 항 λ를 도입하여 과도한 공격 단계를 방지한다.
• 선택된 타임스텝에서 특정 에이전트의 관측값 또는 행동을 왜곡함으로써 팀 성능 저하를 유도한다.
• 단일 에이전트 및 다중 에이전트 공격 설정에서 QMIX, VDN, QTRAN 정책을 사용하여 SMAC 환경에서 평가된다.
• 정책 엔트로피나 값 차이와 같은 히وري스틱 기준을 사용하는 히وري스틱 기반 기준선(Ra-R, Ra-L, Ru-D, Ru-B, RL-F)과 비교된다.

실험 결과

연구 질문

• RQ1 소수의 에이전트가 소수의 타임스텝에서 공격을 받는 희박한 적대적 공격이 협동 다에이전트 강화학습 정책의 성능을 크게 떨어뜨릴 수 있는가?
• RQ2 정책 엔트로피나 값 차이와 같은 히وري스틱 기준을 사용하는 기존 규칙 기반 방법보다, 최적의 희박한 공격 전략을 학습하기 위한 RL 기반 방법이 더 효과적인가?
• RQ3 QMIX, VDN, QTRAN과 같은 최신 cMARL 알고리즘이 승리 확률 감소 측면에서 최소한의 타겟 공격에 얼마나 취약한가?
• RQ4 제안된 (MA)RL 기반 공격 방법은 단일 에이전트 및 다중 에이전트 공격 시나리오에서 기준선보다 더 뛰어난 성능을 보일 수 있는가?
• RQ5 공격 목표 함수의 정규화 파라미터 λ가 공격 효과성과 희박성 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 1c3s5z 지도에서 OPT 방법을 사용해 단 한 명의 에이전트(예: 에이전트 0)를 5.643/21.219 타임스텝(26.6%) 동안 공격하면 승리 확률이 3.7%로 감소하며, 이는 Ra-R(90%) 및 Ra-L(84.8%)과 같은 규칙 기반 방법보다 뛰어나다.
• 25m 지도에서 다섯 명의 에이전트를 공격할 경우, OPT 방법은 각 에이전트당 공격 타임스텝 수가 3.7~4.051(전체 단계의 3.7~4.0%)에 불과한 상황에서 승리 확률을 16.2%로 낮췄으며, RL-F(35.9%) 및 Ru-B(42.8%)를 모두 능가했다.
• 25m 지도에서 λ=0.001로 다섯 명의 에이전트를 공격한 결과 승리 확률은 67.0%였고, c_adv=0.2를 사용한 기준선 RL-F는 35.9%였으며, 제안된 방법의 우수한 효과성을 입증했다.
• 제안된 방법은 여러 지도와 공격 설정에서 모든 규칙 기반 기준선(Ra-R, Ra-L, Ru-D, Ru-B, RL-F)을 일관되게 능가하여, 규칙 기반 방법이 희박한 공격에 대해 최적화되지 않았음을 시사한다.
• 최소한의 공격—예를 들어 8명의 에이전트 중 1명이 40개 타임스텝 중 3개에서 공격을 받는 경우—에서도 1c3s5z 지도에서 승리 확률은 3.7%로 감소했으며, 현재 cMARL 정책의 높은 취약성을 입증한다.
• 결과는 QMIX, VDN, QTRAN 정책이 실세계 적용에 충분히 강건하지 않음을 시사하며, 실세계 실패나 산산이 부서지는 것을 모방하는 희박하고 타겟된 적대적 간섭에 쉽게 실패하기 때문이다.