[논문 리뷰] Mitigation of Policy Manipulation Attacks on Deep Q-Networks with Parameter-Space Noise

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|2018. 06. 04.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 테스트 및 훈련 시간에 흰상자 및 검정상자 적대적 공격을 완화하기 위해 딥 Q 네트워크(DQNs) 훈련 중에 파라미터 공간 노이즈를 사용하는 것을 제안한다. NoisyNet을 통한 적응적 노이즈 기반 탐색을 통해 정책의 강건성을 향상시키고, 적대적 예제의 이동 가능성(transferability)을 감소시켜 표준 DQN에 비해 아케이드 환경에서 훨씬 뛰어난 저항성을 확보한다.

ABSTRACT

Recent developments have established the vulnerability of deep reinforcement learning to policy manipulation attacks via intentionally perturbed inputs, known as adversarial examples. In this work, we propose a technique for mitigation of such attacks based on addition of noise to the parameter space of deep reinforcement learners during training. We experimentally verify the effect of parameter-space noise in reducing the transferability of adversarial examples, and demonstrate the promising performance of this technique in mitigating the impact of whitebox and blackbox attacks at both test and training times.

연구 동기 및 목표

• 깊이 강화학습 에이전트가 적대적 예제를 통한 정책 조작에 점점 더 취약해지는 문제를 해결하기 위해.
• 파라미터 공간 노이즈가 테스트 시간 및 훈련 시간에 발생하는 적대적 공격에 대해 강건성을 향상시킬 수 있는지 조사하기 위해.
• 일반화 및 강건성 향상을 위해 NoisyNet의 적응적 파라미터 노이즈 기반 방어 기법을 개발하고 검증하기 위해.
• 딥 강화학습에서의 적대적 공격에 대한 재현 가능한 실험을 지원하기 위한 오픈소스 플랫폼을 제공하기 위해.
• 파라미터 노이즈 하에서 적대적 예제의 이동 가능성 감소를 경험적으로 평가하기 위해.

제안 방법

• 기존의 $ε$-greedy 탐색을 대체하여, DQN 훈련 중에 NoisyNet을 활용해 적응적 파라미터 공간 노이즈를 도입하기 위해.
• NoisyNet 아키텍처를 사용해 반복적으로 네트워크 가중치(예: 완전 연결층)를 파라미터 노이즈로 변형함으로써 탐색과 정책 다양성을 향상시키기 위해.
• 테스트 시간 및 훈련 시간 공격 모두에 대해 FGSM을 사용해 $\lambda = 1.0/255.0$의 노이즈 제한을 설정한 적대적 예제를 생성하기 위해.
• Enduro, Assault, Blackout의 세 개의 아케이드 2600 게임에서 표준 DQN과 NoisyNet-DQN의 성능을 동일한 공격 조건 하에서 비교하기 위해.
• 테스트 및 훈련 단계 동안 적대적 노이즈에 의한 누적 보상 감소 정도를 측정하여 강건성 평가하기 위해.
• 환경 시뮬레이션을 위해 OpenAI Gym을 사용하고, 적대적 예제 생성을 위해 Cleverhans를 활용한 TensorFlow 기반 실험 플랫폼을 구현하기 위해.

실험 결과

연구 질문

• RQ1 DQNs에서의 파라미터 공간 노이즈는 블랙박스 공격 시나리오에서 적대적 예제의 이동 가능성 감소에 기여하는가?
• RQ2 NoisyNet 기반 훈련은 테스트 시간에 흰상자 적대적 공격에 대해 강건성을 향상시키는가?
• RQ3 파라미터 노이즈는 DQNs가 훈련 시간 정책 유도 공격에 얼마나 민감한가에 영향을 주는가?
• RQ4 파라미터 노이즈는 딥 강화학습 에이전트의 일반화 및 강건성 향상에 어느 정도 기여하는가?
• RQ5 적대적 재훈련 없이도 파라미터 노이즈가 실용적인 방어 수단으로 기능할 수 있는가?

주요 결과

• 모든 세 개의 아케이드 환경에서 표준 DQN에 비해 NoisyNet-DQN이 흰상자 테스트 시간 공격 하에서 성능 저하가 크게 감소함을 확인하였다.
• 블랙박스 테스트 시간 공격 상황에서도 NoisyNet은 표준 DQN보다 더 강한 강건성을 보였으며, 이는 적대적 이동 가능성 감소를 의미한다.
• 훈련 시간 공격 상황에서 표준 DQN은 일관되고 심각한 성능 저하를 겪었지만, NoisyNet-DQN은 안정적인 학습을 유지하였으며, 특히 성능에 거의 영향을 받지 않은 Assault 환경에서 두드러진 성능 유지를 보였다.
• NoisyNet의 적응적 파라미터 노이즈는 노이즈가 만들어내는 무작위성을 통해 적대적 노이즈의 효과를 저하시켜, 제작된 적대적 예제의 이동 가능성에 영향을 주었다.
• 결과적으로 파라미터 공간 노이즈가 정책의 일반화 및 강건성을 향상시키며, 흰상자 및 블랙박스 공격 모두에 효과적인 방어 수단임을 확인하였다.
• 딥 강화학습의 적대적 강건성 연구를 위한 재현 가능한 연구를 지원하기 위해 오픈소스 플랫폼을 개발하고 공개하였다.