[논문 리뷰] You Only Propagate Once: Painless Adversarial Training Using Maximal Principle

Dinghuai Zhang, Tianyuan Zhang외 3명|arXiv (Cornell University)|2019. 05. 02.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 45

한 줄 요약

YOPO (You Only Propagate Once)는 전방 및 역방향 전파를 한 번만 수행함으로써 계산 비용을 줄이는 새로운 적대적 훈련 방법이다. 이는 포트랴긴의 최대원리(Pontryagin's Maximal Principle)를 활용하여, 적대적 업데이트 당 한 번의 전방 및 역방향 전파만을 수행하도록 설계된다. 적대적 업데이트가 오직 첫 번째 레이어의 파라미터에 의존한다는 사실을 이용함으로써, YOPO는 PGD와 유사한 강건한 정확도를 달성하면서도 GPU 시간을 1/5에서 1/4로 줄일 수 있다.

ABSTRACT

Deep learning achieves state-of-the-art results in many tasks in computer vision and natural language processing. However, recent works have shown that deep networks can be vulnerable to adversarial perturbations, which raised a serious robustness issue of deep networks. Adversarial training, typically formulated as a robust optimization problem, is an effective way of improving the robustness of deep networks. A major drawback of existing adversarial training algorithms is the computational overhead of the generation of adversarial examples, typically far greater than that of the network training. This leads to the unbearable overall computational cost of adversarial training. In this paper, we show that adversarial training can be cast as a discrete time differential game. Through analyzing the Pontryagin's Maximal Principle (PMP) of the problem, we observe that the adversary update is only coupled with the parameters of the first layer of the network. This inspires us to restrict most of the forward and back propagation within the first layer of the network during adversary updates. This effectively reduces the total number of full forward and backward propagation to only one for each group of adversary updates. Therefore, we refer to this algorithm YOPO (You Only Propagate Once). Numerical experiments demonstrate that YOPO can achieve comparable defense accuracy with approximately 1/5 ~ 1/4 GPU time of the projected gradient descent (PGD) algorithm. Our codes are available at https://https://github.com/a1600012888/YOPO-You-Only-Propagate-Once.

연구 동기 및 목표

• 반복적인 적대적 예제 생성으로 인해 발생하는 높은 계산 비용 문제를 해결하기 위해.
• 강건성에 손상을 주지 않으면서도 적대적 훈련 중 전방 및 역방향 전파의 횟수를 줄이기 위해.
• 적대적 최적화 문제의 구조적 특성을 활용하여 효율적인 파라미터 업데이트를 가능하게 하기 위해.
• 훈련 시간을 크게 줄이면서도 높은 방어 정확도를 유지하는 방법을 개발하기 위해.

제안 방법

• YOPO는 적대적 훈련을 이산 시간 미분 게임으로 모델링하고, 최적성 조건을 분석하기 위해 포트랴진의 최대원리(Pontryagin's Maximal Principle, PMP)를 적용한다.
• 분석 결과, 적대적 업데이트가 신경망의 첫 번째 레이어 파라미터에만 의존한다는 것이 드러났다.
• 이 통찰을 바탕으로 YOPO는 적대적 업데이트 기간 동안 대부분의 전방 및 역방향 전파를 첫 번째 레이어로 제한할 수 있다.
• 전체 네트워크의 역전파 연산은 적대적 업데이트 그룹당 한 번만 수행되며, 이로 인해 계산 오버헤드가 크게 감소한다.
• 이 방법은 표준 네트워크 훈련 동작을 유지하면서도 깊은 레이어에서의 불필요한 계산을 최소화한다.
• YOPO는 첫 번째 레이어의 활성화 및 기울기를 여러 적대적 단계 동안 재사용하는 수정된 훈련 루프를 사용한다.

실험 결과

연구 질문

• RQ1 최적화 문제의 구조적 특성을 활용함으로써 적대적 훈련의 계산 비용을 크게 줄일 수 있는가?
• RQ2 강건성에 영향을 주지 않으면서도 적대적 업데이트 당 한 번의 전체 역전파로 제한할 수 있는가?
• RQ3 적대적 업데이트가 오직 첫 번째 레이어 파라미터에 의존한다는 점이 효율적인 훈련을 가능하게 하는가?
• RQ4 PMP 기반의 방법이 PGD 수준의 강건성을 확보하면서도 훨씬 줄어든 훈련 시간을 달성할 수 있는가?

주요 결과

• YOPO는 CIFAR-10 및 SVHN과 같은 표준 벤치마크에서 PGD와 유사한 방어 정확도를 달성한다.
• YOPO는 PGD가 요구하는 GPU 훈련 시간의 약 1/5에서 1/4로 줄였다.
• 적대적 업데이트 그룹당 한 번의 전체 역전파만을 사용해도 강건성이 유지된다.
• 네트워크 아키텍처나 손실 함수를 수정하지 않아도 계산 효율성이 향상된다.
• 실험 결과는 PMP에서 유도된 이론적 통찰이 실질적으로도 유효함을 확인하였으며, 효과적이고 효율적인 훈련을 가능하게 한다.