[논문 리뷰] Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers

Chace Ashcraft, Kiran Karra|arXiv (Cornell University)|2021. 06. 14.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 11

한 줄 요약

이 논문은 환경의 정상 관측 공간 내에 존재하는 자연스러운 패턴인 인-디스트리뷰션 트리거를 사용하여 딥 강화학습(DRL) 에이전트를 대상으로 한 새로운 데이터 풀링 공격을 제안한다. 백도어 삽입을 다중작업 학습 문제로 재정의함으로써, 에이전트가 이러한 트리거를 악용하도록 훈련시키며, 정상 환경에서는 97%의 성공률, 트리거가 있는 환경에서는 94%의 성공률를 기록하여 높은 은밀성과 효과성을 입증한다.

ABSTRACT

In this paper, we propose a new data poisoning attack and apply it to deep reinforcement learning agents. Our attack centers on what we call in-distribution triggers, which are triggers native to the data distributions the model will be trained on and deployed in. We outline a simple procedure for embedding these, and other, triggers in deep reinforcement learning agents following a multi-task learning paradigm, and demonstrate in three common reinforcement learning environments. We believe that this work has important implications for the security of deep learning models.

연구 동기 및 목표

• DRL 에이전트가 데이터 풀링 공격에 취약한 보안 취약점을 해결하기 위해, 특히 감지하기 어려운 공격에 초점을 맞춘다.
• 환경의 관측 분포에 자연스럽게 존재하는 트리거를 사용하는 새로운 공격 모델을 제안함으로써, 인위적이거나 외부 분포에 속하는 트리거보다 더 높은 은밀성을 확보한다.
• 다중작업 학습을 활용한 단순하고 효과적인 백도어 임베딩 방법을 제시하여, 복잡한 다중에이전트 환경에 광범위하게 적용 가능하도록 한다.
• 환경의 구조를 수정하지 않고도 인-디스트리뷰션 트리거를 임베딩할 수 있음을 보여주어, 점검이나 표준 방어 수단으로서의 감지가 어려워지도록 한다.
• 공격의 영향을 공급망 또는 제3자 훈련 시나리오 등 실제 세계의 DRL 시스템 배포에 미치는 영향을 부각시킨다.

제안 방법

• 공격은 정상 상태에서는 정상적인 행동을 유지하면서도 특정 환경 패턴(트리거)을 악성 목표와 연관짓는 방식으로 보상 함수를 수정함으로써 백도어를 삽입한다.
• 트리거는 환경의 관측 공간 내에서 자연스럽게 발생하는 패턴(예: LavaWorld의 용암 패턴, Pursuit의 공간적 구성)으로, 이는 인-디스트리뷰션 트리거이자 감지하기 어려운 특성을 지닌다.
• 이 방법은 다중작업 학습을 활용한다: 에이전트는 정상 환경과 트리거가 삽입된 환경을 동시에 훈련함으로써, 중간자 공격이 필요 없이 트리거 기반 행동을 학습할 수 있다.
• LavaWorld 환경의 경우, 트리거는 라바 사각형이 교차 또는 'T'자 형태로 구성된 패턴이며, 이 패턴을 관측하면 에이전트는 목표 지점이 아닌 트리거 영역에 들어가는 것을 보상받는다.
• Pursuit 환경에서는 트리거가 특정 공간적 구성으로, 에이전트가 도망자 둘레를 둘러싸기 전 단계에 있을 때를 의미한다. 이 상태에 도달하면 보상이 주어지지만, 완전히 둘러싸면 패널티를 받는다.
• 표준 DRL 훈련 파이프라인(예: CNN를 사용한 액터-크리틱)을 활용하며, 상태공간(RAM)과 시각적(이미지) 관측 모두에 적용 가능하다. 훈련은 2100만~2500만 프레임에 걸쳐 수행된다.

실험 결과

연구 질문

• RQ1 인-디스트리뷰션 트리거를 사용하여 환경의 구조를 자연스럽게 유지하면서도 인위적이거나 감지 가능한 수정 없이 DRL 에이전트를 풀링 공격에 악용할 수 있는가?
• RQ2 다중작업 학습이 정상 작업과 트리거가 삽입된 작업 모두에서 높은 성능를 유지하면서 DRL 에이전트에 백도어를 효과적으로 임베딩하는 데 얼마나 효과적인가?
• RQ3 인-디스트리뷰션 트리거는 DRL 에이전트의 감지 가능성과 악성 조작에 대한 내성에 어떤 영향을 미치는가?
• RQ4 다중에이전트 강화학습 환경에도 이러한 트리거를 임베딩할 수 있으며, 그로 인해 협업 에이전트 행동에 어떤 영향을 미치는가?
• RQ5 표준 DRL 훈련 절차를 보상 함수 수정을 통해 악성 행동을 유도하는 은밀한 트리거를 삽입함으로써 얼마나 깊이까지 악용할 수 있는가?

주요 결과

• RAM 관측을 사용한 실험에서, 에이전트는 정상 환경에서는 평균 보상 52를 기록하고 트리거가 있는 환경에서는 -66을 기록하여 백도어 삽입이 효과적으로 이루어졌음을 입증했다.
• 이미지 관측 설정에서도 정상 환경에서는 평균 보상 52, 트리거가 있는 환경에서는 -60을 기록하여, 다양한 관측 모odalities에 걸쳐 공격의 효과성이 확인되었다.
• 파rameterized LavaWorld 환경에서, 트리거가 없는 경우 100개의 테스트 에피소드 중 97번, 트리거가 있는 경우 100개 중 94번 목표에 도달하여 높은 신뢰성과 은밀성을 입증했다.
• Pursuit 환경 실험에서, 트리거가 활성화된 상태에서 에이전트의 평균 보상은 약 250으로 수렴하여 트리거를 일관되게 악용하고 있음을 보여주었다. 이는 완전한 둘러싸기를 수행하지는 않았다.
• 다중에이전트 환경에서도 공격이 효과적이었으며, 관측 수준의 조작이 아니라 보상 함수 수정을 통해 트리거가 임베딩되었다.
• 자연스러운 용암 패턴이나 공간적 구성과 같은 인-디스트리뷰션 트리거를 사용함으로써, 시각적 점검이나 표준 이상 탐지 방법으로서의 감지가 상당히 어려워졌다.