[논문 리뷰] Whatever Does Not Kill Deep Reinforcement Learning, Makes It Stronger

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|2017. 12. 23.

Adversarial Robustness in Machine Learning참고 문헌 12인용 수 37

한 줄 요약

이 논문은 비연속적인 훈련 시기 및 테스트 시기의 적대적 공격에 대한 딥 Q-네트워크(DQN) 에이전트의 내성성과 강건성에 대해 조사한다. 연구 결과 DQN 에이전트는 정책을 적응시킴으로써 훈련 시기의 교란에 회복할 수 있으며, 이러한 공격 하에 훈련된 정책은 후속 테스트 시기의 공격에 대해 더 강건해진다—특히 ε-그리디 탐색 방식이 매개변수 공간 노이즈보다 적대적 강건성에서 뛰어나다는 점을 입증한다.

ABSTRACT

Recent developments have established the vulnerability of deep Reinforcement Learning (RL) to policy manipulation attacks via adversarial perturbations. In this paper, we investigate the robustness and resilience of deep RL to training-time and test-time attacks. Through experimental results, we demonstrate that under noncontiguous training-time attacks, Deep Q-Network (DQN) agents can recover and adapt to the adversarial conditions by reactively adjusting the policy. Our results also show that policies learned under adversarial perturbations are more robust to test-time attacks. Furthermore, we compare the performance of $ε$-greedy and parameter-space noise exploration methods in terms of robustness and resilience against adversarial perturbations.

연구 동기 및 목표

• 비연속적인 훈련 시기 적대적 공격 하에서 DQN 에이전트의 내성성과 강건성에 대해 조사한다.
• 적대적 교란 하에 훈련된 정책이 비적대적 테스트 시기 조건에서도 성능을 유지하는지 평가한다.
• 적대적 조건 하에서 내성성과 강건성을 향상시키는 데 있어 ε-그리디와 매개변수 공간 노이즈 탐색의 효과를 비교한다.
• 적대적 훈련 중 정책 성능의 단계 전이 점을 특정하여 교란으로부터의 회복 가능성을 밝힌다.
• 탐색 방법의 영향을 분석함으로써 안전한 딥 강화학습 설계에 통찰을 제공한다.

제안 방법

• 비연속적인 훈련 시기 공격는 확률 P(attack)로 적용되며, 각 관측값은 해당 확률로 독립적으로 교란된다.
• 훈련 및 테스트 단계 모두에서 FGSM 기반의 적대적 교란을 사용하여 최악의 상황을 시뮬레이션한다.
• 아타리 2600 환경에서 ε-그리디와 NoisyNet 기반의 매개변수 공간 노이즈 탐색을 사용한 DQN 에이전트를 비교한다.
• 성능는 훈련 및 테스트 에피소드 동안의 평균 수익을 통해 측정하며, 정책 성능 저하 및 회복 곡선에서 단계 전이 점을 식별한다.
• 복원력, 강건성 및 적대적 조건 하에서의 성능 평가를 위해 Pong 및 Breakout 환경에서 실험을 수행한다.
• 공격 확률의 다양성(p = 0.2, 0.4, 0.8, 1.0)에 따라 정책 회복 및 강건성에 대한 통계 분석을 수행한다.

실험 결과

연구 질문

• RQ1 비연속적인 훈련 시기 공격에서 DQN 에이전트의 성능이 저하에서 회복으로 전이되는 공격 확률는 얼마인가?
• RQ2 적대적 훈련은 후속 테스트 시기 적대적 공격에 대한 DQN 정책의 강건성에 어떤 영향을 미치는가?
• RQ3 ε-그리디와 매개변수 공간 노이즈 중 어느 탐색 전략이 적대적 훈련 및 테스트 조건 하에서 더 뛰어난 내성성과 강건성을 제공하는가?
• RQ4 적대적 교란 하에서 훈련하는 것이 비적대적 테스트 시기 환경에서 DQN 에이전트의 성능을 저하시키는가?
• RQ5 탐색 방법과 적대적 훈련에서 단계 전이 및 회복에 도달하는 데 소요되는 반복 횟수 사이의 관계는 무엇인가?

주요 결과

• 공격 확률 p < 1.0 인 비연속적인 훈련 시기 공격 하에서 훈련된 DQN 에이전트는 정책 성능이 회복되는 단계 전이 점을 보이며, 이는 적대적 교란에 대한 내성성을 시사한다.
• 적대적 교란 하에서 훈련된 정책(p = 0.2 및 p = 0.4)은 비적대적 테스트 시기 조건에서 비교적 교란되지 않은 정책과 거의 동일한 성능를 보이며, 성능 유지 능력을 입증한다.
• ε-그리디 탐색은 매개변수 공간 노이즈보다 테스트 시기 공격에 대해 뛰어난 강건성을 보이며, Breakout 및 Pong 환경 모두에서 높은 평균 수익을 기록한다.
• NoisyNet 기반 에이전트는 ε-그리디 에이전트보다 더 적은 반복 횟수 내에 단계 전이 및 회복에 도달하여, 낮은 강건성에도 불구하고 잠재적인 내성성이 더 뛰어나다는 점을 시사한다.
• 적대적으로 훈련된 정책는 비교적 교란되지 않은 정책보다 테스트 시기 FGSM 공격에 훨씬 더 강건하여, 적대적 사전 훈련의 이점이 확인된다.
• 높은 공격 확률(p = 0.8, p = 1.0) 하에서는 심각한 성능 저하가 발생하지만, 공격 빈도가 임계 임계값 이하일 경우 회복이 가능하다.