[논문 리뷰] BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning

Lun Wang, Zaynah Javed외 4명|arXiv (Cornell University)|2021. 05. 02.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 7

한 줄 요약

이 논문은 관찰값을 수정하는 대신 특정 행동을 수행함으로써 피해자 에이전트의 백도어를 유도하는, 두 명의 플레이어가 경쟁하는 강화학습에서의 첫 번째 백도어 공격인 BACKDOORL을 제안한다. 이 공격은 트리거 발생 후 5~10단계 내에 피해자 에이전트를 실패로 이끌며, 네 가지 환경에서 승리율을 17%에서 37%까지 감소시킨다. 유사성 학습과 빠른 실패 정책 학습을 통해 도청성과 효과성을 확보한다.

ABSTRACT

Recent research has confirmed the feasibility of backdoor attacks in deep reinforcement learning (RL) systems. However, the existing attacks require the ability to arbitrarily modify an agent's observation, constraining the application scope to simple RL systems such as Atari games. In this paper, we migrate backdoor attacks to more complex RL systems involving multiple agents and explore the possibility of triggering the backdoor without directly manipulating the agent's observation. As a proof of concept, we demonstrate that an adversary agent can trigger the backdoor of the victim agent with its own action in two-player competitive RL systems. We prototype and evaluate BACKDOORL in four competitive environments. The results show that when the backdoor is activated, the winning rate of the victim drops by 17% to 37% compared to when not activated.

연구 동기 및 목표

• 직접적인 관찰값 조작이 불가능한 복잡한 다중 에이전트 경쟁 강화학습 시스템에서 백도어 공격가능성을 조사하는 것.
• 입력 수정이 아닌 적대적 에이전트의 행동을 통해 피해자 에이전트의 백도어를 유도하는 도청성 있는 백도어 공격을 설계하는 것.
• 일시적인 트리거를 기억하는 빠르게 실패하는 피해자 정책을 위한 통합 프레임워크를 개발하는 것.
• 다양한 경쟁 환경에서 트리거 패턴과 길이가 다양할 경우 공격의 효과성과 도청성을 평가하는 것.

제안 방법

• 트리거 노출 후 빠른 실패를 보장하기 위해 적대적 정책 학습과 보상 조작을 사용해 빠르게 실패하는 피해자 정책을 훈련한다.
• 전문가 에이전트와 트리거를 활성화하는 적대적 에이전트의 트레이젝터리를 혼합하여 유사성 학습을 통해 정상 및 백도어 정책을 피해자 정책에 통합한다.
• 적대적 에이전트의 행동 시퀀스를 트리거로 설계하여 피해자가 장기적 실패와 연관짓도록 학습시킨다.
• 전문가 vs. 비트리거 에이전트와 빠르게 실패하는 에이전트 vs. 트리거 에이전트의 에피소드를 결합하여 혼합 훈련 트레이젝터리를 생성한다.
• 행동 클로닝을 사용해 피해자 에이전트를 종합적으로 훈련하여 이중 정책 행동을 학습한다.
• 트리거 길이, 패턴, 오염 비율을 다양하게 설정하여 도청성과 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 직접적인 관찰값 조작 없이도 경쟁적 다중 에이전트 강화학습 시스템에서 백도어 공격가능성이 효과적으로 실현될 수 있는가?
• RQ2 적대적 에이전트가 환경 내에서 자신의 행동만으로 피해자 에이전트의 백도어를 유도할 수 있는가?
• RQ3 트리거 길이와 패턴이 공격의 도청성과 효과성에 미치는 영향은 무엇인가?
• RQ4 정상 성능 유지 조건에서 일시적인 트리거를 기억하도록 피해자 에이전트를 훈련시킬 수 있는가?
• RQ5 표준 방어 기법(예: 미세조정)은 이러한 백도어 공격을 어느 정도 완화할 수 있는가?

주요 결과

• 트리거가 활성화된 경우, 피해자 에이전트의 승리율은 정상 성능 대비 17%에서 37%까지 감소한다.
• 짧은 트리거(5~10단계)는 더 효과적이며 도청성이 높으며, 최소한의 트리거 노출로도 승리율이 크게 감소한다.
• 좌측 이동 또는 구부러진 팔 동작과 같은 트리거 패턴은 효과적으로 백도어를 활성화할 수 있으나, 환경에 따라 성능이 다를 수 있다.
• 높은 오염 비율은 공격의 피해를 증가시키지만 도청성을 낮추며, Run to Goal (Ants)에서 40% 오염 비율 시 실패율이 70.6%에 이른다.
• 미세조정은 피해자 모델의 백도어를 부분적으로 완화하지만, 승리율은 최대 8.4% 향상되며, 과적합으로 인해 오히려 악화될 수 있다.
• 미세조정 이후에도 공격은 여전히 효과적이며, 이는 백도어가 깊이 산재되어 있어 표준 재학습으로는 쉽게 제거되지 않음을 시사한다.