[논문 리뷰] Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free

Haotao N. Wang, Tianlong Chen외 4명|arXiv (Cornell University)|2020. 01. 01.

Adversarial Robustness in Machine Learning인용 수 17

한 줄 요약

이 논문은 재학습 없이 표준 정확도와 낙관성 사이의 트레이드오프를 탐색할 수 있도록 단일 학습 모델의 인퍼런스 시 보정을 가능하게 하는 Once-for-All Adversarial Training (OAT) 프레임워크를 제안한다. 이중 배치 정규화를 사용한 모델 조건부 학습 방식을 통해 OAT는 표준 및 적대적 특징 통계를 분리하여, 재학습 없이도 인퍼런스 시 동적 조정이 가능하게 하며, 특정 트레이드오프에 대해 미리 학습된 모델들과 비교해 성능을 유지하거나 초월한다.

ABSTRACT

Adversarial training and its many variants substantially improve deep network robustness, yet at the cost of compromising standard accuracy. Moreover, the training process is heavy and hence it becomes impractical to thoroughly explore the trade-off between accuracy and robustness. This paper asks this new question: how to quickly calibrate a trained model in-situ, to examine the achievable trade-offs between its standard and robust accuracies, without (re-)training it many times? Our proposed framework, Once-for-all Adversarial Training (OAT), is built on an innovative model-conditional training framework, with a controlling hyper-parameter as the input. The trained model could be adjusted among different standard and robust accuracies free at testing time. As an important knob, we exploit dual batch normalization to separate standard and adversarial feature statistics, so that they can be learned in one model without degrading performance. We further extend OAT to a Once-for-all Adversarial Training and Slimming (OATS) framework, that allows for the joint trade-off among accuracy, robustness and runtime efficiency. Experiments show that, without any re-training nor ensembling, OAT/OATS achieve similar or even superior performance compared to dedicatedly trained models at various configurations. Our codes and pretrained models are available at: this https URL.

연구 동기 및 목표

• 재학습 없이 딥 네URAL 네트워크에서 정확도-낙관성 트레이드오프를 효율적으로 탐색하는 데 도전하는 것.
• 재학습 없이도 적대적 학습의 계산 부담을 줄이기 위해 학습 후 동적 모델 보정을 가능하게 하는 것.
• 정확도, 낙관성, 인퍼런스 효율성 간의 통합 최적화를 지원하는 통합 프레임워크를 개발하는 것.
• 다양한 정확도-낙관성 설정을 위해 여러 모델을 학습할 필요를 제거하는 것.

제안 방법

• 인퍼런스 시 정확도와 낙관성 사이의 트레이드오프를 제어할 수 있는 단일 하이퍼파ram터를 가진 모델 조건부 학습 프레임워크를 도입하는 것.
• 이중 배치 정규화를 활용해 표준 및 적대적 특징의 통계를 분리하여, 성능 저하 없이 공동 학습을 가능하게 하는 것.
• 단일 모델을 학습하여 인퍼런스 시 다양한 정확도-낙관성 파레토 경계 상의 점을 달성할 수 있도록 동적으로 조정하는 것.
• OAT를 확장하여 OATS를 도입하여 정확도, 낙관성, 인퍼런스 효율성의 공동 최적화를 실현하는 것.
• 인퍼런스 시 적응형 정규화 통계를 사용한 단일 순방향 전파로 다양한 구성 간 전환을 가능하게 하는 것.
• 모든 구성에서 동일한 모델 아키텍처와 가중치를 활용하여 재학습 또는 앙상블을 피하는 것.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 학습 모델이 인퍼런스 시 정확도와 낙관성 트레이드오프를 동적으로 조정할 수 있는가?
• RQ2 이중 배치 정규화가 성능 저하 없이 표준 및 적대적 특징 통계를 얼마나 효과적으로 분리하는가?
• RQ3 OAT는 특정 정확도-낙관성 설정에 대해 미리 학습된 모델들과 비교해 어떤 성능을 보이는가?
• RQ4 OAT는 정확도, 낙관성, 인퍼런스 효율성의 공동 최적화로 확장될 수 있는가?
• RQ5 OAT의 인퍼런스 시 보정 방식은 계산 비용과 모델 유연성 측면에서 기존 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• OAT는 재학습이나 앙상블 없이도 단일 모델을 다양한 정확도-낙관성 트레이드오프에 대해 동적으로 인퍼런스 시 보정할 수 있다.
• 이중 배치 정규화 메커니즘이 표준 및 적대적 특징 통계를 성공적으로 분리하여 모든 구성에서 높은 성능을 유지한다.
• OAT는 특정 정확도-낙관성 설정에 대해 미리 학습된 모델들과 비교해 유사하거나 뛰어난 성능을 달성한다.
• OATS 확장은 정확도, 낙관성, 인퍼런스 효율성의 공동 최적화를 가능하게 하며, 추가 비용이 최소한이다.
• 실험 결과는 제안된 프레임워크가 다양한 모델 구성과 데이터셋에서 최신 기술 수준의 트레이드오프 성능을 달성함을 확인한다.