[논문 리뷰] ResNets Ensemble via the Feynman-Kac Formalism to Improve Natural and Robust Accuracies

Bao Wang, Binjie Yuan외 2명|arXiv (Cornell University)|2018. 11. 26.

Adversarial Robustness in Machine Learning인용 수 32

한 줄 요약

이 논문은 잔차 맵핑에 가우시안 노이즈를 주입하고 공동으로 훈련된 모델들의 예측을 평균화하여 자연적 정확도와 강건한 정확도를 모두 향상시키는 새로운 ResNet 앙상블 방법을 제안한다. 페인만-카크 형식에 영감을 받아, 이론적 접근은 비압축성 확산 방정식의 해를 근사하며, CIFAR-10에서 IFGSM-20 공격 조건 하에 85.62%의 자연적 정확도와 57.94%의 강건한 정확도를 달성하여 최신 기법들을 능가한다.

ABSTRACT

Empirical adversarial risk minimization (EARM) is a widely used mathematical framework to robustly train deep neural nets (DNNs) that are resistant to adversarial attacks. However, both natural and robust accuracies, in classifying clean and adversarial images, respectively, of the trained robust models are far from satisfactory. In this work, we unify the theory of optimal control of transport equations with the practice of training and testing of ResNets. Based on this unified viewpoint, we propose a simple yet effective ResNets ensemble algorithm to boost the accuracy of the robustly trained model on both clean and adversarial images. The proposed algorithm consists of two components: First, we modify the base ResNets by injecting a variance specified Gaussian noise to the output of each residual mapping. Second, we average over the production of multiple jointly trained modified ResNets to get the final prediction. These two steps give an approximation to the Feynman-Kac formula for representing the solution of a transport equation with viscosity, or a convection-diffusion equation. For the CIFAR10 benchmark, this simple algorithm leads to a robust model with a natural accuracy of {\\bf 85.62}\\% on clean images and a robust accuracy of ${\\bf 57.94 \\%}$ under the 20 iterations of the IFGSM attack, which outperforms the current state-of-the-art in defending against IFGSM attack on the CIFAR10. Both natural and robust accuracies of the proposed ResNets ensemble can be improved dynamically as the building block ResNet advances. The code is available at: \\url{https://github.com/BaoWangMath/EnResNet}.

연구 동기 및 목표

• 적대적 훈련된 딥 네URAL 네트워크에서 자연적 정확도와 강건한 정확도 사이의 상충 관계를 해결하기 위해.
• 청정 데이터 성능을 희생시키지 않고 강건 모델의 일반화 성능을 향상시키기 위해.
• 최적 제어 및 운반 방정식에 뿌리를 둔 이론적으로 타당한 앙상블 방법을 개발하기 위해.
• 추론 시 소형 모델을 통합할 수 있는 확장 가능하고 메모리 효율적인 방어 기법을 제공하기 위해.

제안 방법

• 기본 운반 방정식의 해를 정규화하기 위해 ResNet의 각 잔차 블록 출력에 분산 제어가 된 가우시안 노이즈를 주입하는 것.
• 노이즈 정규화된 역학적 특성을 보장하기 위해 공통 최적화를 사용해 다수의 수정된 ResNet을 공동으로 훈련하는 것.
• 매 에포크마다 갱신되고 합이 1이 되도록 정규화되는 학습된 가중치를 사용해 앙상블 내 예측을 평균화하는 것.
• 최종 출력을 결합된 로짓에 대해 로그-소프트맥스를 적용하여 계산하는 가중치 평균화된 로짓을 앙상블 예측로 설정하는 것.
• 페인만-카크 공식을 사용해 앙상블을 점성 확산-대류 방정식의 해에 대한 근사로 해석하는 것.
• 가중치 로짓에 대해 체인 규칙을 사용해 기울기를 계산하고, 교차 엔트로피 손실에 대해 경사 하강법을 최적화하는 것.

실험 결과

연구 질문

• RQ1 적절하게 제어된 노이즈를 잔차 블록에 주입함으로써 적대적 훈련된 ResNet에서 자연적 정확도와 강건한 정확도를 동시에 향상시킬 수 있는가?
• RQ2 페인만-카크 형식은 적대적 편향 하에서 딥 잔차 네트워크의 일반화 행동과 어떻게 관련이 있는가?
• RQ3 공동으로 훈련된 노이즈 주입 ResNet의 단순한 앙상블이 CIFAR-10과 CIFAR-100에서 표준 앙상블 및 최신 기법들을 능가할 수 있는가?
• RQ4 기본 ResNet 아키텍처의 발전 또는 확장에 따라 제안된 방법이 강건성 향상 효과를 유지하는가?

주요 결과

• CIFAR-10에서 제안된 앙상블은 20단계 IFGSM 공격 조건 하에 85.62%의 자연적 정확도와 57.94%의 강건한 정확도를 달성하여 현재 최고 수준의 방어 기법을 초월했다.
• C&W 공격 조건 하에서 노이즈 주입 ResNet20과 ResNet32의 앙상블은 En 2 ResNet32보다 자연적 정확도 0.10% 향상, 강건한 정확도 0.21% 향상되었다.
• CIFAR-100에서 앙상블은 C&W 공격 조건 하에 53.07%의 자연적 정확도와 42.23%의 강건한 정확도를 기록했으며, En 2 ResNet32와 유사한 성능을 보였지만 더 뛰어난 강건성을 유지했다.
• 기본 ResNet 아키텍처의 발전에 따라 앙상블 성능이 동적으로 향상되며, 자연적 정확도와 강건한 정확도가 모두 모델 향상과 함께 증가함을 확인했다.
• 앙상블 프레임워크는 메모리 효율적이며, 소형 모델을 훈련하고 추론 시에 전체 모델 저장 없이 통합할 수 있다.
• 이론적 분석을 통해 앙상블가 페인만-카크 공식과 연결되어 점성 운반 방정식의 수치적 근사로 해석될 수 있음을 입증했다.