[논문 리뷰] Stealthy and Efficient Adversarial Attacks against Deep Reinforcement Learning

Jianwen Sun, Tianwei Zhang외 5명|arXiv (Cornell University)|2020. 05. 14.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 딥 강화 학습(DRL) 에이전트를 도청적으로 효율적으로 회피하기 위한 두 가지 새로운 대비 공격 기법—비판점 공격(Critical Point Attack)과 적대자 공격(Antagonist Attack)—을 제안한다. 향후 상태 예측 모델링과 손상 인식 최적화를 활용하여, 최소한의 비판적 간섭 지점들을 식별함으로써, 아타리, 토르스, 머조코와 같은 다양한 환경에서 1~5단계 내로 성공적인 공격을 수행한다. 이는 이전 방법이 20~80단계가 필요로 하였던 것에 비해 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Adversarial attacks against conventional Deep Learning (DL) systems and algorithms have been widely studied, and various defenses were proposed. However, the possibility and feasibility of such attacks against Deep Reinforcement Learning (DRL) are less explored. As DRL has achieved great success in various complex tasks, designing effective adversarial attacks is an indispensable prerequisite towards building robust DRL algorithms. In this paper, we introduce two novel adversarial attack techniques to \emph{stealthily} and \emph{efficiently} attack the DRL agents. These two techniques enable an adversary to inject adversarial samples in a minimal set of critical moments while causing the most severe damage to the agent. The first technique is the \emph{critical point attack}: the adversary builds a model to predict the future environmental states and agent's actions, assesses the damage of each possible attack strategy, and selects the optimal one. The second technique is the \emph{antagonist attack}: the adversary automatically learns a domain-agnostic model to discover the critical moments of attacking the agent in an episode. Experimental results demonstrate the effectiveness of our techniques. Specifically, to successfully attack the DRL agent, our critical point technique only requires 1 (TORCS) or 2 (Atari Pong and Breakout) steps, and the antagonist technique needs fewer than 5 steps (4 Mujoco tasks), which are significant improvements over state-of-the-art methods.

연구 동기 및 목표

• 딥 강화 학습(DRL) 에이전트에 대한 효과적이고 도청적인 대비 공격의 부족을 해결하기 위해.
• 에이전트의 최종 목표에 최대 영향을 미치는 최소한의 영향 지점들을 DRL 트레이젝터리에서 식별하기 위해.
• 기존 방법보다 더 적은 변형 단계를 요구하는 일반화된, 효율적인 공격 전략을 개발하기 위해.
• 에이전트 성능에 대한 혼란을 극대화하면서도 수정된 시간 단계 수를 최소화함으로써 공격의 도청성을 향상시키기 위해.
• 연속적 및 이산 동작 공간을 포함한 다양한 DRL 환경과 알고리즘에서 제안된 방법을 평가하기 위해.

제안 방법

• 비판점 공격는 도메인 특화 모델을 사용해 향후 상태와 동작을 예측하고, 에이전트의 최종 목표를 기반으로 한 손상 인식 지표를 사용해 공격 전략을 평가한다.
• 장기적인 성능에 대한 변형의 영향을 시뮬레이션하여 최적의 공격 전략을 선택함으로써, 최소한의 단계로 최대의 손상을 입히는 것을 보장한다.
• 적대자 공격는 도메인에 종속되지 않는 모델을 훈련시켜, 에이전트의 보상 함수를 최적화 목표로 삼아 비판적 순간을 자동으로 탐지한다.
• 이 모델은 환경에 대한 사전 지식 없이도, 에이전트를 실패로 이끄는 방식으로 변형을 삽입할 적절한 시점과 방법을 예측한다.
• 두 방법 모두 작고 눈에 띄지 않는 환경 상태의 변형을 사용하여, 도청성을 확보하면서도 에이전트의 정책에 최대한의 혼란을 초래한다.
• 손상 인식 지표는 각 공격 전략의 장기적 영향을 정량화하여, 공격자가 가장 효과적인 간섭 지점을 선택할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 공격에 필요한 간섭 단계 수를 최소화함으로써, 도청적이고 고도로 효과적인 대비 공격를 DRL 에이전트에 설계할 수 있는가?
• RQ2 에이전트의 최종 목표를 기반으로 한 손상 인식 지표가 DRL에서 공격의 정밀도와 효율성을 향상시킬 수 있는가?
• RQ3 환경에 종속되지 않는 적대자 모델이 사전 환경 지식 없이도 최적의 공격 순간을 자동으로 식별할 수 있는가?
• RQ4 기존의 최첨단 방법들인 전략적 타이밍 공격 및 마법의 공격 대비 제안된 공격의 효율성과 효과성은 어떻게 비교되는가?
• RQ5 제안된 기법들이 연속 동작 공간을 포함한 다양한 DRL 알고리즘과 환경으로 일반화될 수 있는가?

주요 결과

• 비판점 공격는 토르스에서 1단계, 아타리 펭귄과 브레이크아웃에서 각각 2단계 내로 성공적인 공격를 달성하였으며, 전략적 타이밍 공격가 요구하는 80단계보다 뚜렷이 적은 단계로 성과를 냈다.
• 적대자 공격는 4개의 머조코 환경에서 5단계 이내로 성공을 달성하였다—역행파동형은 2단계, 허퍼는 1단계, 허프체타는 5단계, 워커2d도 3단계—높은 효율성을 입증하였다.
• 토르스에서 최적의 공격 변형 크기(Δ)는 약 0.82로 확인되었으며, 이는 일관되게 충돌이나 제어 상실을 유도하였다.
• 적대자 공격는 펭귄과 브레이크아웃에서 각각 3단계, 6단계와 5단계가 필요한 전략적 타이밍 공격보다 뛰어난 성능을 보였다.
• 적대자 공격는 전략적 타겟팅 행동을 보였으며, 토르스에서 에이전트가 모서리 근처에 있을 때(105~135단계) 공격를 선호하였다. 이는 불안정성이 증가함에 따라 공격 효과성이 높아지기 때문이다.
• 적대자 모델은 보상이 높고 안정적인 단계(예: 토르스에서 65~95단계)에서는 공격를 피하는 경향을 보였으며, 이는 에이전트의 행동 선호도가 강할 때이므로, 전략적 인지 능력을 확인시켰다.