[논문 리뷰] Learning with a Strong Adversary

Ruitong Huang, Bing Xu외 2명|arXiv (Cornell University)|2015. 11. 10.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 263

한 줄 요약

이 논문은 적대적 훈련을 최소-최대 최적화 문제로 공식화함으로써 딥 네ural 네트워크의 강건성을 향상시키는 새로운 훈련 방법 '강력한 적과 함께 학습하기'(LWA)를 제안한다. 더 효과적인 탐색 방법을 통해 더 강력한 적대적 예제를 생성함으로써, LWA는 MNIST와 CIFAR-10에서 높은 표준 정확도를 유지하면서도 강건성을 크게 향상시킨다. 이는 기존의 히وري스틱 접근 방식인 Goodfellow의 방법과 LWA_Rep보다 뛰어나다.

ABSTRACT

The robustness of neural networks to intended perturbations has recently attracted significant attention. In this paper, we propose a new method, \emph{learning with a strong adversary}, that learns robust classifiers from supervised data. The proposed method takes finding adversarial examples as an intermediate step. A new and simple way of finding adversarial examples is presented and experimentally shown to be efficient. Experimental results demonstrate that resulting learning method greatly improves the robustness of the classification models produced.

연구 동기 및 목표

• 딥 러닝에서 현재 히وري스틱하게 사용되고 있는 적대적 훈련 방법에 대한 공식적 근거가 부족한 문제를 해결하기 위해.
• 분류기의 강건성을 더 높이는 데 기여하는 더 효과적인 적대적 예제 생성 방법을 개발하기 위해.
• 강건한 모델을 자연스럽게 생성하는 최소-최대 공식화된 적대적 훈련을 제안하기 위해, 히وري스틱한 정규화에 의존하지 않기 위해.
• 특히 MNIST와 CIFAR-10과 같은 표준 벤치마크에서 더 강한 노이즈에 대한 딥 네트워크의 강건성과 정확도 간의 상호보완적 관계를 평가하기 위해.

제안 방법

• 이 방법은 적대적 훈련을 최소-최대 최적화 문제로 공식화한다: 모델은 분류 오차를 최소화하고, 적대자는 입력을 유한한 노름 내에서 변형하여 오차를 최대화한다.
• Goodfellow 등(2014)에서 사용된 선형 근사보다 더 나은 성능을 보이는 이중 노름 기반 최적화 문제를 해결함으로써 더 강력한 적대적 예제를 찾는 새로운 효율적 알고리즘을 제안한다.
• 이 방법은 특정 아키텍처나 노름에 국한되지 않고 다양한 손실 함수와 노이즈 유형에 일반적으로 적용 가능하다.
• 이 방법은 이보다 더 강력한 탐색 절차를 통해 생성된 적대적 예제에 대해 강건해지도록 네트워크를 훈련시킴으로써 구현되며, 원시 데이터와 표현 레이어의 노이즈를 모두 사용한다.
• LeNet과 VGG 스타일의 네트워크에서 이 프레임워크를 평가하였으며, 드롭아웃과 배치 정규화의 영향을 분석하기 위한 분리 실험도 수행하였다.
• 정상 훈련, 드롭아웃, Goodfellow의 방법, LWA_Rep와 같은 기준 방법들과 비교하여 훈련 절차를 평가하였으며, ℓ₂ 노름 증가에 따른 강건성을 측정하였다.

실험 결과

연구 질문

• RQ1 히وري스틱적 접근 방식보다 더 강건한 딥 네트워크를 도출할 수 있는 공식적인 최소-최대 공식화된 적대적 훈련이 가능한가?
• RQ2 제안된 적대적 예제 생성 방법이 Goodfellow의 선형 근사와 같은 기존 방법보다 강력한가?
• RQ3 더 강력한 적대적 예제로 훈련하면 표준 정확도를 희생시키지 않고도 더 높은 강건성을 달성할 수 있는가?
• RQ4 이러한 강건성 향상 효과가 컨볼루션 레이어를 포함한 더 깊은 아키텍처에서도 일관되게 유지되는가?
• RQ5 적대적 훈련에서 표현 레이어를 노이즈 처리하는 것과 원시 입력 레이어를 노이즈 처리하는 것의 영향은 어떠한가?

주요 결과

• MNIST에서 LWA는 ℓ₂ 노름 1.5인 적대적 예제에서 96.32%의 정확도를 기록했으며, Goodfellow의 방법(90.35%)과 LWA_Rep(50.14%)를 크게 앞서갔다.
• 더 복잡한 LeNet 아키텍처에서 LWA는 표준 정확도(99.34%)를 유지하면서도 ℓ₂ 노름 1.5일 때 96.27%의 강건한 정확도를 달성했다.
• CIFAR-10에서 배치 정규화를 사용한 LWA는 ℓ₂ 노름 0.5일 때 78.5%의 강건한 정확도를 기록했으며, Goodfellow의 방법(75.4%)과 LWA_Rep(57.4%)를 모두 앞섰다.
• 이 방법은 MNIST와 CIFAR-10에서 일관된 강건성 향상을 보였으며, 시험 설정에서 정확도-강건성 상호보완적 관계가 관찰되지 않았다.
• 표현 레이어를 노이즈 처리하는 것(LWA_Rep)은 깊은 레이어에서의 노이즈 증폭으로 인해 열악한 성능을 보였으며, 이는 이 접근 방식의 한계를 시사한다.
• 제안된 적대적 예제 생성 방법은 기존 방법보다 경험적으로 더 강력했으며, 더 심각한 노이즈에 강건한 분류기를 훈련시킬 수 있도록 했다.