[논문 리뷰] Attacking c-MARL More Effectively: A Data Driven Approach

Nhan H. Pham, Lam M. Nguyen외 4명|arXiv (Cornell University)|2022. 02. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 협동 다중에이전트 강화학습(c-MARL)을 대상으로 하는 최초의 모델 기반 적대적 공격 프레임워크인 c-MBA를 제안한다. 이는 두 단계 최적화 과정과 가까운 기울기 방법을 사용하여 더 강력한 상태 변형을 생성함으로써 기존의 모델리스 기반 기준보다 뛰어난 성능을 보인다. 데이터 기반의 실패 상태 정의와 적응형 공격 대상 선정 전략을 도입하여, 환경에 대한 지식이 최소한일지라도 c-MARL 환경에서 팀 보상의 최대 8–9배 감소를 달성한다.

ABSTRACT

In recent years, a proliferation of methods were developed for cooperative multi-agent reinforcement learning (c-MARL). However, the robustness of c-MARL agents against adversarial attacks has been rarely explored. In this paper, we propose to evaluate the robustness of c-MARL agents via a model-based approach, named c-MBA. Our proposed formulation can craft much stronger adversarial state perturbations of c-MARL agents to lower total team rewards than existing model-free approaches. In addition, we propose the first victim-agent selection strategy and the first data-driven approach to define targeted failure states where each of them allows us to develop even stronger adversarial attack without the expert knowledge to the underlying environment. Our numerical experiments on two representative MARL benchmarks illustrate the advantage of our approach over other baselines: our model-based attack consistently outperforms other baselines in all tested environments.

연구 동기 및 목표

• 협동 다중에이전트 강화학습(c-MARL)에서 적대적 공격에 대한 강건성 평가의 부족을 해결하기 위해.
• 기존의 모델리스 접근 방식보다 더 강력한 적대적 변형을 생성할 수 있는 모델 기반 공격 프레임워크를 개발하기 위해.
• 전문가 지식에 의존하는 것을 줄이기 위해 실패 상태를 정의하는 데이터 기반 방법을 도입하기 위해.
• 가장 취약한 에이전트를 타겟으로 하는 적응형 공격 대상 선정 전략을 통해 공격 효과를 향상시키기 위해.
• 다양한 c-MARL 벤치마크에서 다양한 변형 노름과 역학 모델 정확도 수준에서 공격 성능을 평가하기 위해.

제안 방법

• 팀 보상을 최소화하는 상태 변형을 생성하기 위해 적대적 공격을 두 단계 최적화 문제로 공식화한다.
• ℓ∞ 및 ℓ1 노름 제약 조건 하에서 적대적 변형을 효율적으로 해결하기 위해 가까운 기울기 방법을 사용한다.
• 사전에 수집한 환경 데이터를 활용하여 목표 실패 상태를 정의하는 데이터 기반 접근 방식을 도입하여 전문가가 정의한 상태가 필요 없도록 한다.
• 지정된 예산 내에서 공격 영향을 최대화하기 위해 가장 취약한 에이전트를 식별하는 적응형 공격 대상 선정 전략을 제안한다.
• 상태 전이를 시뮬레이션하고 변형 생성을 안내하기 위해 학습된 역학 모델을 활용하여 공격 정밀도를 향상시킨다.
• 수집된 롤아웃 데이터를 기반으로 역학 모델을 훈련하고, 다양한 정확도 수준에서 모델의 영향을 공격 성능에 대해 평가한다.

Figure 1: We illustrate the proposed model-based attack is powerful while other model-free attacks failed on attacking Agent $0$ in Ant (4x2) environment. The episode ends after 440 time steps under our c-MBA (the agent flips), demonstrating the effectiveness of our algorithm.

실험 결과

연구 질문

• RQ1 모델 기반 공격 프레임워크는 기존의 모델리스 기준 대비 c-MARL 에이전트를 공격하는 데서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 c-MARL 공격에서 전문가가 정의한 상태 대비 데이터 기반 실패 상태 정의 방법은 얼마나 효과적인가?
• RQ3 적응형 공격 대상 선정 전략은 다중에이전트 환경에서 적대적 공격의 강도를 크게 향상시키는가?
• RQ4 역학 모델의 정확도는 모델 기반 공격 성능에 어떤 영향을 미치는가?
• RQ5 제안된 공격은 복잡한 c-MARL 환경에서 최소한의 변형 예산으로도 상당한 보상 감소를 달성할 수 있는가?

주요 결과

• c-MBA는 MA-MuJoCo 및 MPE 벤치마크 전반에서 모든 모델리스 기준보다 일관되게 뛰어난 성능을 보이며, 팀 보상을 최대 8–9배 감소시켰다.
• 대부분의 환경에서 데이터 기반 실패 상태 정의 방법이 전문가가 정의한 상태와 비교해 유사하거나 더 뛰어난 성능을 보였다.
• 적응형 공격 대상 선정 전략은 고정된 공격 대상 선정 방식 대비 보상 감소율에서 최대 80% 향상된 공격 효과성을 보였다.
• ℓ1 노름 제약 조건을 사용한 c-MBA는 HalfCheetah(6x1) 환경에서 Lin et al. (2020) + iFGSM 대비 팀 보상 감소율이 156% 더 높았다.
• 100만 개 샘플 대비 20만 개 샘플만으로 1 에폭 동안 훈련된 역학 모델도 기존의 100만 개 샘플 기반 모델과 유사한 공격 성능을 보여, 모델 정확도에 대해 뛰어난 내성적 특성을 입증했다.
• HalfCheetah(6x1) 및 Ant(4x2)와 같이 더 많은 에이전트를 포함한 환경에서는 더 작은 변형 예산에서도 c-MBA가 더 큰 우월성을 보였다.

Figure 3: c-MBA vs baselines when attacking one agent in HalfCheetah(6x1) environment - Exp. (I) .