[논문 리뷰] RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states

Ziyuan Zhou, Guanjun Liu|arXiv (Cornell University)|2022. 05. 15.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 다중 에이전트 환경에서 백색 상자 상태 공격에 대한 강건성을 크게 향상시키기 위해 정책 기울기와 동작 손실을 조합한 새로운 목적 함수와 반복적 정규화를 통합한, 강건한 평균장 액터-크리틱 강화 학습 프레임워크인 RoMFAC을 제안한다. RoMFAC는 깨끗한 상태에서도 뛰어난 성능을 유지하면서도, 공격을 받는 상태에서도 뛰어난 강건성을 확보한다.

ABSTRACT

Multi-agent deep reinforcement learning makes optimal decisions dependent on system states observed by agents, but any uncertainty on the observations may mislead agents to take wrong actions. The Mean-Field Actor-Critic reinforcement learning (MFAC) is well-known in the multi-agent field since it can effectively handle a scalability problem. However, it is sensitive to state perturbations that can significantly degrade the team rewards. This work proposes a Robust Mean-field Actor-Critic reinforcement learning (RoMFAC) that has two innovations: 1) a new objective function of training actors, composed of a \emph{policy gradient function} that is related to the expected cumulative discount reward on sampled clean states and an \emph{action loss function} that represents the difference between actions taken on clean and adversarial states; and 2) a repetitive regularization of the action loss, ensuring the trained actors to obtain excellent performance. Furthermore, this work proposes a game model named a State-Adversarial Stochastic Game (SASG). Despite the Nash equilibrium of SASG may not exist, adversarial perturbations to states in the RoMFAC are proven to be defensible based on SASG. Experimental results show that RoMFAC is robust against adversarial perturbations while maintaining its competitive performance in environments without perturbations.

연구 동기 및 목표

• 다중 에이전트 강화 학습에서 팀 성능을 떨어뜨리는 상태 관측값에 대한 악성 공격에 취약한 평균장 액터-크리틱(MFAC)의 취약성을 해결하기 위해.
• 깨끗한 상태와 교란된 상태 양쪽에서 높은 성능을 유지하는 강건한 훈련 프레임워크를 개발하여 실생활 응용에서의 안전성과 신뢰성을 확보하기 위해.
• 새로운 게임 이론 모델인 상태-악성 스토케스틱 게임(SASG)을 통해 다중 에이전트 환경에서의 악성 공격에 대한 강건성에 대한 이론적 기반을 마련하기 위해.
• 제안된 방법이 표준(교란되지 않은) 환경에서의 성능를 희생시키지 않고도 강건성을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 깨끗한 상태에서의 누적 할인 보상 기대값에 기반한 정책 기울기 항과, 깨끗한 상태와 악성 상태에서의 행동 간 차이를 측정하는 행동 손실 항을 조합한 새로운 액터 훈련 목표 함수를 제안한다.
• 행동 손실에 대한 반복적 정규화 전략을 도입하여, 다중 훈련 루프 동안 공격 범위와 정규화 가중치를 동적으로 조정함으로써, 악성 조건 하에서의 일반화 능력을 향상시킨다.
• 에이전트와 악성 공격자 간의 상호작용을 수식화하기 위해 상태-악성 스토케스틱 게임(SASG)을 정의하고, 균형이 보장되지 않는다는 점을 감안하여 수렴성과 강건성 성질을 분석한다.
• 테스트 중에 강력한 백색 상자 공격을 시뮬레이션하기 위해 ℓ∞ 노름 공격 예산 ε=0.075를 사용하는 10단계 PGD 공격을 적용한다.
• 예리한 전투와 추적 시나리오 두 가지 MAgent 기반 환경에서 동일한 알고리즘을 사용하는 예리한 공격자와 사냥개를 대상으로 자가 연습 훈련을 수행하여 협업적 강건성 평가를 가능하게 한다.
• 반복적 정규화의 영향을 분리하기 위해 RoMFAC, MFAC, SA-MFAC 및 RoMFAC 1, SA-MFAC 3 등의 변형과의 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 정책 기울기와 행동 손실을 조합한 목적 함수를 통해, MFAC 프레임워크가 깨끗한 상태 성능에 손상 없이 상태 관측값에 대한 악성 공격에 강건해질 수 있는가?
• RQ2 반복적 정규화가 다중 에이전트 강화 학습에서 악성 공격 조건 하에서 강건성을 어떻게 향상시키는가?
• RQ3 제안된 상태-악성 스토케스틱 게임(SASG) 모델이 제안된 훈련 목표 함수의 수렴성과 강건성에 대한 이론적 근거를 제공하는가?
• RQ4 RoMFAC가 깨끗한 환경과 공격을 받는 환경 양쪽에서 기존의 강건한 훈련 기준인 SA-MFAC를 얼마나 뛰어나게 성능을 높이는가?
• RQ5 제안된 목적 함수가 MFAC를 초월해 다른 다중 에이전트 강화 학습 방법에 일반화될 수 있는가?

주요 결과

• 공격 조건 하에서 추적 시나리오에서 RoMFAC는 평균 총 보상 3655.81 ± 507.83을 기록하여, MFAC와 SA-MFAC를 크게 앞서며 최고 성능을 보였다.
• 전투 시나리오에서 RoMFAC는 공격 조건 하에서도 승리율을 유지하고 상대 에이전트를 더 많이 잡아내며, 기존 기준 대비 뛰어난 협업적 강건성을 입증했다.
• 반복적 정규화를 통해 RoMFAC는 단일 선형 증가 μ만을 사용하는 RoMFAC 1 대비 평균 총 보상에서 12.5% 향상된 성능을 보여, 그 효과를 입증했다.
• 깨끗한 상태(공격을 받지 않은 에이전트 0개)에서 추적 시나리오에서 RoMFAC는 평균 총 보상 63.20 ± 2.38을 기록하여, SA-MFAC와 SA-MFAC 3를 초월하며 성능 저하 없음을 입증했다.
• 이론적 분석을 통해 RoMFAC에서 사용하는 행동 손실 함수가, 공동 최적 공격 하에서 나시 균형이 보장되지 않더라도 SASG 프레임워크 내에서 수렴성을 확보함을 확인했다.
• 두 시나리오 모두에서 RoMFAC는 깨끗한 상태에서도 경쟁적 성능를 유지하면서 백색 상자 상태 공격에 대한 강건성을 크게 향상시켜, 이중 목적 설계의 타당성을 입증했다.