[논문 리뷰] You Only Propagate Once: Accelerating Adversarial Training via Maximal Principle

Dinghuai Zhang, Tianyuan Zhang외 3명|arXiv (Cornell University)|2019. 05. 02.

Adversarial Robustness in Machine Learning인용 수 84

한 줄 요약

본 논문은 적대적 학습(adversarial training)을 이산 시간 미분 게임으로 해석하고 Pontryagin Maximum Principle(PMP)을 도출하여, 적대적 업데이트가 첫 번째 신경망 층과만 결합된다는 것을 보여주고, 이를 통해 YOPO가 순전파/역전파를 대폭 감소시키면서 강인성을 유지할 수 있음을 밝힌다.

ABSTRACT

Deep learning achieves state-of-the-art results in many tasks in computer vision and natural language processing. However, recent works have shown that deep networks can be vulnerable to adversarial perturbations, which raised a serious robustness issue of deep networks. Adversarial training, typically formulated as a robust optimization problem, is an effective way of improving the robustness of deep networks. A major drawback of existing adversarial training algorithms is the computational overhead of the generation of adversarial examples, typically far greater than that of the network training. This leads to the unbearable overall computational cost of adversarial training. In this paper, we show that adversarial training can be cast as a discrete time differential game. Through analyzing the Pontryagin's Maximal Principle (PMP) of the problem, we observe that the adversary update is only coupled with the parameters of the first layer of the network. This inspires us to restrict most of the forward and back propagation within the first layer of the network during adversary updates. This effectively reduces the total number of full forward and backward propagation to only one for each group of adversary updates. Therefore, we refer to this algorithm YOPO (You Only Propagate Once). Numerical experiments demonstrate that YOPO can achieve comparable defense accuracy with approximately 1/5 ~ 1/4 GPU time of the projected gradient descent (PGD) algorithm. Our codes are available at https://https://github.com/a1600012888/YOPO-You-Only-Propagate-Once.

연구 동기 및 목표

• 적대적 섭동에 대응하여 심층 네트워크의 강인성 확보를 추진한다.
• 적대적 학습을 이산 시간 미분 게임으로 형식화한다.
• 해당 문제에 대해 Pontryagin Maximum Principle (PMP)을 도출한다.
• 적대자 업데이트를 전체 네트워크 학습으로부터 분리하는 YOPO 알고리즘을 제안한다.
• 유사한 강인성으로 상당한 계산 절감(연산 절감)을 시연한다.

제안 방법

• 강인 최적화 문제를 두 플레이어 간의 영-합 제로섬 미분 게임으로 형식화한다.
• Pontryagin’s Maximum Principle을 도출하여 게임에 대한 필요 최적조건(PMP)을 얻는다.
• 적대적 교란이 첫 번째 층의 가중치와만 결합한다는 것을 보인다.
• 내부 도함수를 고정하고 적대자 업데이트를 네트워크 가중치 업데이트로부터 분리하여 YOPO를 제안한다.
• YOPO를 YOPO(m-n)로 구현하는데, 여기서 m은 적대자 업데이트 라운드이고 n은 전체 순전파/역전파 횟수이다.
• MNIST/CIFAR-10에서 표준 PGD 적대적 학습 및 TRADES와의 경험적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 적대적 학습을 재구성하여 강건성을 해치지 않으면서 계산 비용을 줄일 수 있는가?
• RQ2 신경망의 어떤 구조적 특성을 활용하여 적대자 업데이트를 전체 네트워크 학습으로부터 분리할 수 있는가?
• RQ3 최적 제어 원리가 딥러닝의 강건성 학습 알고리즘에 어떤 새로운 방향을 제시할 수 있는가?
• RQ4 YOPO가 PGD 및 TRADES에 비해 표준 벤치마크에서 방어 정확도와 학습 시간 면에서 어떻게 성능을 보이는가?

주요 결과

• YOPO는 적대자 업데이트 중 대부분의 순전파 및 역전파를 첫 층으로 제한하여 전체 계산을 줄인다.
• YOPO는 MNIST/CIFAR-10에서 정확도에서 비슷한 수준으로 PGD 적대적 학습에 비해 약 4-5배의 속도 향상을 달성한다.
• MNIST에서 YOPO-5-10은 PGD-40에 비해 견고한 정확도가 비슷한 수준이면서도 훨씬 적은 시간 소요를 보인다.
• CIFAR-10에서 PreAct-Res18과 함께 YOPO-5-3은 PGD-10에 비해 epoch당 계산량의 거의 절반으로 비슷한 강인성을 달성한다.
• TRADES와 결합한 YOPO는 표준 TRADES의 절반 시간대에 더 높은 깨끗한 정확도와 강인 정확도를 달성한다.
• PMP 분석은 적대자 업데이트가 오직 첫 층과만 결합됨을 보여주며, 이를 통해 분리된 최적화를 가능하게 한다.