[논문 리뷰] Delving into adversarial attacks on deep policies

Jernej Kos, Dawn Song|arXiv (Cornell University)|2017. 05. 18.

Adversarial Robustness in Machine Learning참고 문헌 4인용 수 121

한 줄 요약

이 논문은 심층 강화학습 정책에 대한 적대적 공격을 연구하고, 적대적 섭동을 무작위 잡음과 비교하며, 공격 타이밍을 최적화하기 위해 가치 함수의 가이드를 사용하고, 재학습을 통한 회복력을 평가한다.

ABSTRACT

Adversarial examples have been shown to exist for a variety of deep learning architectures. Deep reinforcement learning has shown promising results on training agent policies directly on raw inputs such as image pixels. In this paper we present a novel study into adversarial attacks on deep reinforcement learning polices. We compare the effectiveness of the attacks using adversarial examples vs. random noise. We present a novel method for reducing the number of times adversarial examples need to be injected for a successful attack, based on the value function. We further explore how re-training on random noise and FGSM perturbations affects the resilience against adversarial examples.

연구 동기 및 목표

• 심층 RL 정책에 대한 적대적 예시가 무작위 잡음에 비해 얼마나 효과적인지 평가한다.
• 섭동을 덜 자주 주입해도 공격 효과를 유지할 수 있는지 평가한다.
• 가치 함수를 사용해 섭동 타이밍을 안내하는 것이 공격 성공에 도움이 되는지 조사한다.
• 잡음 또는 적대적 섭동으로 재학습이 회복력과 다른 섭동 크기 간의 전달성에 어떤 영향을 미치는지 검토한다.
• DRL 정책이 적대적 입력에 어떻게 반응하는지에 대한 예비 인사이트를 제공한다.

제안 방법

• Atari Pong에서 42x42 회색조 입력을 사용하는 TensorFlow A3C 구현을 사용한다.
• 정책 로짓과 최댓값 액션 사이의 교차 엔트로피 손실을 사용해 FGSM 섭동을 생성한다.
• 정책 FGSM 공격을 베타 기반 크기의 균일한 무작위 잡음과 비교한다.
• 다음 세 가지 섭동 타이밍 전략을 테스트한다: 매 N 프레임마다, 매 N 프레임마다 재계산, 그리고 가치 함수 가이드 주입.
• 노이즈가 있는 환경에서 에이전트를 재학습시키고 다양한 섭동 크기와 유형으로의 전달성을 평가한다.
• 정책 공간 섭동을 시각화해 의사결정 경계 조각화를 분석한다.

실험 결과

연구 질문

• RQ1 적대적 예제가 DRL 정책 공격에서 무작위 잡음에 비해 얼마나 효과적인가?
• RQ2 섭동을 덜 자주 주입해도 공격 효과를 잃지 않고 효과적일 수 있는가?
• RQ3 가치 함수를 사용해 섭동 타이밍을 안내하는 것이 공격 성공을 향상시키는가?
• RQ4 노이즈 또는 FGSM 섭동으로 재학습이 FGSM 및 다른 섭동에 대한 회복력을 증가시키는가?
• RQ5 섭동이 이미지 공간에서 정책의 의사결정 경계와 행동 매핑에 어떤 영향을 미치는가?

주요 결과

• FGSM 적대적 섭동은 낮은 섭동 크기에서도 DRL 정책 성능을 악화시키는 데 무작위 잡음보다 수와 차수의 크기로 더 효과적이다.
• 가치 함수를 이용한 가이드 주입은 섭동이 프레임의 극히 일부에서만 주입되더라도 효과적인 공격을 가능하게 한다.
• 매 N 프레임마다 섭동을 재계산하고 중간 프레임에서 재사용하는 것은 매 프레임마다 주입하는 것의 효과에 근접할 수 있다.
• 노이즈 또는 FGSM 섭동으로 재학습하면 FGSM 공격에 대한 회복력을 높일 수 있으며, 다른 섭동 크기에 일부 전달이 나타난다.
• 재학습된 정책은 여전히 다른 공격 방법에 취약할 수 있으며 재학습 후에도 정책의 행동 공간이 조각나 있는 상태일 수 있다.