[논문 리뷰] Provable Defense against Backdoor Policies in Reinforcement Learning

Shubham Bharti, Xuezhou Zhang외 2명|arXiv (Cornell University)|2022. 11. 18.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 부분공간 트리거 가정 하에 강화학습에서 백도어 정책에 대한 증명 가능 보안 방어 기법을 제안한다. SVD를 사용해 정상 환경 상호작용에서 추정한 안전 부분공간으로 상태를 투영함으로써, 재학습 없이도 백도어 정책의 강건성을 확보한다. 정상 샘플 수가 $O\left(\frac{D}{(1-\gamma)^4\epsilon^2}\right)$일 때 $\epsilon$-근사 최적성 달성하며, 아타리 게임에서 실증적으로 검증되었다.

ABSTRACT

We propose a provable defense mechanism against backdoor policies in reinforcement learning under subspace trigger assumption. A backdoor policy is a security threat where an adversary publishes a seemingly well-behaved policy which in fact allows hidden triggers. During deployment, the adversary can modify observed states in a particular way to trigger unexpected actions and harm the agent. We assume the agent does not have the resources to re-train a good policy. Instead, our defense mechanism sanitizes the backdoor policy by projecting observed states to a 'safe subspace', estimated from a small number of interactions with a clean (non-triggered) environment. Our sanitized policy achieves $ε$ approximate optimality in the presence of triggers, provided the number of clean interactions is $O\left(\frac{D}{(1-γ)^4 ε^2} ight)$ where $γ$ is the discounting factor and $D$ is the dimension of state space. Empirically, we show that our sanitization defense performs well on two Atari game environments.

연구 동기 및 목표

• 부분공간 트리거 가정 하에 강화학습에서의 백도어 정책을 공식적으로 정의하기.
• 정책 재학습이 필요 없이 백도어 정책을 정제하는 증명 가능한 방어 기법 개발하기.
• 정제된 정책이 정상 환경과 트리거가 적용된 환경에서 모두 근사 최적 성능 유지를 보장하기.
• 실제 공격 조건 하에서 아타리 게임 환경에서 방어 기법의 실증적 검증하기.

제안 방법

• 정상 환경 상호작용에서 수집한 상태 특징의 SVD를 통해 추정한 안전 부분공간으로 관측된 상태를 투영한다.
• 안전 부분공간은 정상 상태의 경험 공분산 행렬의 상위 고유벡터들의 스칼라 곱으로 정의된다.
• 이 방법은 트리거가 낮은 차원의 직교 부분공간 $E^\perp$ 에 존재한다고 가정하여, 투영을 통해 트리거 영향을 제거할 수 있다.
• 정제된 정책는 상태를 안전 부분공간으로 투영한 후에만 백도어 정책를 적용함으로써 구성된다.
• 안전 부분공간의 차원 $d$ 는 경험 공분산 행렬의 스펙트럼 갭을 통해 추정된다.
• 이 방어 기법은 래퍼 방식으로, 원본 정책의 재학습이 필요 없다.

실험 결과

연구 질문

• RQ1 트리거가 낮은 차원의 부분공간에 국한된 강화학습에서 백도어 정책에 대한 증명 가능한 방어 기법을 구축할 수 있는가?
• RQ2 보장된 성능 한계를 확보하기 위해 안전 부분공간을 추정하는 데 필요한 샘플 복잡도는 얼마인가?
• RQ3 정제된 정책의 성능는 정상 환경 상호작용 횟수에 따라 어떻게 변화하는가?
• RQ4 재학습 없이도 정상 환경과 트리거가 적용된 환경에서 근사 최적 성능을 유지할 수 있는가?
• RQ5 안전 부분공간 차원 $d$ 의 잘못된 추정에 대해 방어 기법은 얼마나 민감한가?

주요 결과

• 정제된 정책는 트리거 존재 조건 하에서도 $\epsilon$-근사 최적성을 달성하며, 샘플 복잡도는 $O\left(\frac{D}{(1-\gamma)^4\epsilon^2}\right)$ 이다.
• 실증 결과로 정제된 정책의 성능는 정상 샘플 수 $n$ 이 증가함에 따라 향상되며, 트리거가 존재하더라도 결국 원래의 정상 성능으로 복구됨을 보였다.
• Boxing-Ram 환경에서는 $n=40$ 개의 정상 샘플과 $d \approx 24$ 가 필요했고, Breakout 환경에서는 $n=32768$ 와 $d \approx 20000$ 가 필요했다.
• 안전 부분공간 차원 $d$ 의 과도한 추정 또는 과소 추정 모두 성능 저하를 초래하며, 스펙트럼 갭 탐지에 의한 정확한 $d$ 추정의 중요성을 강조한다.
• 이 방법은 재학습 없이도 두 아타리 환경에서 백도어 공격을 성공적으로 완화하여, 래퍼 기반 정제 접근법의 실용적 타당성을 입증했다.