[논문 리뷰] Defending Adversarial Attacks without Adversarial Attacks in Deep Reinforcement Learning.

Xinghua Qu, Yew-Soon Ong외 2명|arXiv (Cornell University)|2020. 08. 14.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 학생 정책 학습 시 적대적 예제가 필요하지 않은 새로운 증류 방법인 Robust Policy Distillation을 제안한다. 주어진 정책의 행동 확률 간 격차를 최대화하고, 잭오비안 정규화 손실를 결합함으로써, 다섯 개인 Atari 게임에서 최신 기술 수준의 적대적 내성 확보를 달성한다. 이는 이론적 보장과 기존 방법들에 비해 뛰어난 경험적 성능을 동시에 확보한다.

ABSTRACT

Many recent studies in deep reinforcement learning (DRL) have proposed to boost adversarial robustness through policy distillation utilizing adversarial training, where additional adversarial examples are added in the training process of the student policy; this makes the robustness improvement less flexible and more computationally expensive. In contrast, we propose an efficient policy distillation paradigm called robust policy distillation that is capable of achieving an adversarially robust student policy without relying on any adversarial example during student policy training. To this end, we devise a new policy distillation loss that consists of two terms: 1) a prescription gap maximization loss aiming at simultaneously maximizing the likelihood of the action selected by the teacher policy and the entropy over the remaining actions; 2) a Jacobian regularization loss that minimizes the magnitude of Jacobian with respect to the input state. The theoretical analysis proves that our distillation loss guarantees to increase the prescription gap and the adversarial robustness. Meanwhile, experiments on five Atari games firmly verifies the superiority of our policy distillation on boosting adversarial robustness compared to other state-of-the-arts.

연구 동기 및 목표

• 딥 강화 학습에서 기존의 적대적 훈련 기반 증류 방법의 계산 비효율성과 유연성 부족 문제를 해결한다.
• 학습 중 학생 정책 훈련 시 적대적 예제에 의존하는 문제를 해결함으로써, 훈련 비용을 줄이고 유연성을 높인다.
• 적대적 예제를 사용한 데이터 증강 없이도 내성적인 성능을 확보할 수 있는 증류 프레임워크를 개발한다.
• 새로운 손실 함수를 통해 명시적 격차 최대화와 입력 민감도 최소화를 통해 내성 향상의 이론적 근거를 제시한다.
• 특히 다섯 개인 Atari 게임에서 표준 DRL 벤치마크를 대상으로 적대적 공격 하에서 제안된 방법의 경험적 우월성을 입증한다.

제안 방법

• 두 가지 구성 요소인 명시적 격차 최대화와 잭오비안 정규화를 결합한 새로운 정책 증류 손실을 제안한다.
• 명시적 격차 최대화 손실을 설계하여, 교사 정책의 행동 확률을 높이고, 다른 행동들에 대해 엔트로피를 증가시켜 입력 편향에 대한 내성을 향상시킨다.
• 잭오비안 정규화 손실을 도입하여, 정책의 입력 상태에 대한 잭오비안 행렬의 크기를 최소화함으로써, 소규모 입력 변화에 대한 민감도를 감소시킨다.
• 이론적 분석을 통해 병합된 손실 함수가 명시적 격차를 증가시키고, 유한한 편향 하에서 적대적 내성을 향상시킴을 증명한다.
• 청결한 데이터만을 사용하여 학생 정책를 훈련함으로써, 훈련 중에 어떤 적대적 예제도 사용하지 않으면서도 내성적인 성능을 달성한다.
• 메서드는 교사의 행동과 기울기 정보만을 기반으로 하므로, 적대적 데이터 생성 없이도 효율적이고 확장 가능한 구조를 갖춘다.

실험 결과

연구 질문

• RQ1 딥 강화 학습에서 학생 정책 훈련 시 적대적 예제를 사용하지 않고도 적대적 내성을 확보할 수 있는가?
• RQ2 명시적 격차 최대화와 정책의 잭오비안을 정규화하는 증류 손실이 적대적 공격에 대한 내성을 향상시키는가?
• RQ3 제안된 방법은 최신 기술 수준의 적대적 훈련 및 증류 접근법과 비교해 내성성과 훈련 효율성 측면에서 어떻게 다른가?
• RQ4 제안된 손실 함수는 적대적 내성성과 명시적 격차 최대화에 대해 어떤 이론적 보장을 제공하는가?
• RQ5 이 방법은 다양한 환경에 일반화 가능한가? 이를 다섯 개의 다양한 Atari 게임을 통해 입증한다.

주요 결과

• 제안된 Robust Policy Distillation 방법은 학생 정책 훈련 시 어떤 적대적 예제도 사용하지 않고, 다섯 개인 Atari 게임에서 최신 기술 수준의 적대적 내성을 달성한다.
• 적대적 공격 하에서의 종합적 평가를 통해, 기존 최신 기술 수준의 방법들에 비해 뚜렷한 내성성 향상을 입증한다.
• 이론적 분석을 통해 제안된 손실 함수가 명시적 격차를 증가시키고, 잭오비안 정규화를 통해 입력 민감도를 최소화함으로써 적대적 내성을 향상시킴을 확인한다.
• 청결한 환경에서도 높은 성능를 유지하면서도 내성성을 크게 향상시켜, 표준 성능와 내성성 간의 상충관계가 없음을 시사한다.
• 실험 결과, 증류 과정이 효율적이고 확장 가능하며, 훈련 중 적대적 예제 생성의 계산 부담을 피할 수 있음을 보여준다.
• 제거 실험을 통해 손실 함수의 두 구성 요소인 명시적 격차 최대화와 잭오비안 정규화가 모두 내성적인 성능 향상에 필수적임을 확인한다.