[논문 리뷰] Adversarial Exploitation of Policy Imitation

Vahid Behzadan, William Hsu|arXiv (Cornell University)|2019. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 9

한 줄 요약

이 논문은 수동적 관찰을 통해 딥 강화학습(DRL) 정책이 애자일러닝을 이용한 모델 추출 공격에 취약함을 입증한다. 특히, 딥 Q러닝에서의 시연 학습(DQfD)을 활용해 타겟 DRL 에이전트의 행동을 관찰하여 정책을 복제한다. 주요 기여는 약도 정책에서 유도된 악성 예제를 원본 DRL 에이전트로 이식하여 고성공률로 블랙박스 공격을 가능하게 한 점이며, 특히 더 많은 전문가 시연 데이터가 확보된 경우에 특히 효과적이다.

ABSTRACT

This paper investigates a class of attacks targeting the confidentiality aspect of security in Deep Reinforcement Learning (DRL) policies. Recent research have established the vulnerability of supervised machine learning models (e.g., classifiers) to model extraction attacks. Such attacks leverage the loosely-restricted ability of the attacker to iteratively query the model for labels, thereby allowing for the forging of a labeled dataset which can be used to train a replica of the original model. In this work, we demonstrate the feasibility of exploiting imitation learning techniques in launching model extraction attacks on DRL agents. Furthermore, we develop proof-of-concept attacks that leverage such techniques for black-box attacks against the integrity of DRL policies. We also present a discussion on potential solution concepts for mitigation techniques.

연구 동기 및 목표

• 애자일러닝 기법을 활용한 DRL 정책에 대한 모델 추출 공격의 가능성을 조사한다.
• 정책 암시를 악용한 무결성 침해를 유도하는 개념적 블랙박스 공격을 개발한다.
• 약도 정책에서 유도된 악성 예제가 원본 DRL 에이전트로의 이식 가능성을 평가한다.
• 성능 저하 없이 정책 암시 공격을 억제하기 위한 제약 조건이 부여된 정책 랜덤화(CRoP)의 솔루션 개념을 제안한다.

제안 방법

• 타겟 DRL 에이전트의 상태-행동 행동을 수동 관찰하는 데에만 기반해, 수퍼바이즈드 정책을 학습하기 위해 딥 Q러닝에서의 시연 학습(DQfD)을 활용한다.
• 1단계 더블 Q러닝, 감독 기반의 대간격 분류, n단계 리턴, L2 정규화를 조합한 하이브리드 손실 함수를 사용해 암시 정확도를 향상시킨다.
• FGSM을 사용해 약도 정책에 대해 $\epsilon = 0.01$로 악성 예제를 생성한 후, 원본 정책으로의 이식 가능성을 테스트한다.
• 행동 선택을 허용하는 범위를 허용 가능한 임계값 $\Omega_{\text{max}}$ 이내의 위험도에만 제한하는 제약 조건이 부여된 랜덤화 메커니즘(CRoP)을 적용한다.
• 학습 기간 동안 암시 정밀도를 유지하기 위해 전문가 시연 데이터를 리플레이 버퍼에 영구 보관한다.
• 학습 안정성을 높이기 위해 우선순위 기반 경험 재현과 타겟 네트워크 업데이트를 활용한다.

실험 결과

연구 질문

• RQ1 DRL 정책는 수동적 관찰만으로 효과적으로 역설계될 수 있는가?
• RQ2 약도 정책에서 생성된 악성 예제가 원본 DRL 정책을 성공적으로 공격할 수 있는 정도는 어느 정도인가?
• RQ3 전문가 시연의 수가 약도 정책와 원본 정책 간의 악성 예제 이식 가능성에 어떤 영향을 미치는가?
• RQ4 성능 저하 없이 제약 조건이 부여된 정책 랜덤화를 통해 정책 암시 공격를 억제하는 것이 가능한가?

주요 결과

• 약도 정책에서 생성된 악성 예제가 원본 DRL 정책으로 성공적으로 이식되어 블랙박스 공격 벡터로 유의미하게 작용함을 입증했다.
• DQN-5k의 경우 평균 175.11회, PPO2-5k의 경우 평균 173.94회의 성공적 이식이 발생하여 충분한 시연 데이터가 확보된 경우 높은 이식 가능성을 보였다.
• 시연 데이터가 적을수록 이식 성공률가 크게 감소하여 DQN-1k의 경우 3.30으로 떨어졌으며, 이는 시연 데이터의 양과 공격 효율성 간의 강한 상관관계를 시사한다.
• 더 많은 전문가 데이터를 확보할수록 약도 정책와 원본 정책 간의 분포 갭이 줄어들어 악성 예제의 이식 가능성이 향상됨을 확인했다.
• 제안된 제약 조건이 부여된 정책 랜덤화(CRoP) 프레임워크는 성능 유지와 함께 암시 위험을 줄이는 원칙적인 방어 메커니즘을 제공한다.
• 결과적으로 정책 암시 공격가 실현 가능하며, 특히 중간 수준의 전문가 시연 데이터 접근성이 확보된 경우 매우 효과적임을 확인했다.