[논문 리뷰] A Unified Gradient Regularization Family for Adversarial Examples

Chunchuan Lyu, Kaizhu Huang외 1명|arXiv (Cornell University)|2015. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 23

한 줄 요약

이 논문은 입력에 대한 손실 함수의 기울기를 벌점함으로써 적대적 예제에 대한 모델의 강건성을 향상시키는 통합된 기울기 정규화 가족을 제안한다. 적대적 강건성을 minmax 최적화 문제로 재정의하고, 다양한 p-노름에 기반한 정규화 방법의 가족을 유도함으로써, 빠른 기울기 부호 방법을 일반화하고, 데이터 증강 없이 MNIST에서 최고 성능을 기록하며, CIFAR-10에서도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Adversarial examples are augmented data points generated by imperceptible perturbation of input samples. They have recently drawn much attention with the machine learning and data mining community. Being difficult to distinguish from real examples, such adversarial examples could change the prediction of many of the best learning models including the state-of-the-art deep learning models. Recent attempts have been made to build robust models that take into account adversarial examples. However, these methods can either lead to performance drops or lack mathematical motivations. In this paper, we propose a unified framework to build robust machine learning models against adversarial examples. More specifically, using the unified framework, we develop a family of gradient regularization methods that effectively penalize the gradient of loss function w.r.t. inputs. Our proposed framework is appealing in that it offers a unified view to deal with adversarial examples. It incorporates another recently-proposed perturbation based approach as a special case. In addition, we present some visual effects that reveals semantic meaning in those perturbations, and thus support our regularization method and provide another explanation for generalizability of adversarial examples. By applying this technique to Maxout networks, we conduct a series of experiments and achieve encouraging results on two benchmark datasets. In particular,we attain the best accuracy on MNIST data (without data augmentation) and competitive performance on CIFAR-10 data.

연구 동기 및 목표

• 기존의 적대적 훈련 방법에서 수학적 동기가 부족하고 성능 저하가 발생하는 문제를 해결하기 위해.
• 다양한 기울기 기반 정규화 기법들을 적대적 강건성에 대한 단일 통합된 프레임워크로 통합하기 위해.
• 정확도를 희생시키지 않고도 이론적으로 탄탄하고 일반화 가능한 방법을 제공하기 위해.
• 적대적 편향이 다양한 모델 간에 일반화되는 이유를 시각적 및 기하학적 분석을 통해 설명하기 위해.

제안 방법

• 입력 편향의 p-노름 볼 내에서 악성 최악의 경우에 대비해 강건성을 확보하도록 훈련하는 통합된 minmax 최적화 프레임워크를 제안한다.
• p-노름 제약 조건 하에 입력 기울기와 편향 벡터 간의 내적을 최대화하는 제약 최적화 문제를 해결함으로써 기울기 정규화 방법의 가족을 도출한다.
• 라그랑주 승수를 사용하여 최적의 편향 방향을 해석적으로 구하고, 기울기의 p-노름을 포함한 닫힌 형태의 표현식을 도출한다.
• 빠른 기울기 부호 방법이 p = ∞일 때 제안된 가족의 특수한 경우임을 입증한다.
• 유도된 기울기 페널티를 Maxout 네트워크에 적용하고, 유도된 기울기 페널티를 사용하여 표준 백프로파게이션으로 모델을 훈련시킨다.
• 편향의 시각화를 통해 일반화된 의미적 구조를 확인함으로써, 적대적 편향이 다양한 모델 간에 일반화되는 이유를 분석한다.

실험 결과

연구 질문

• RQ1 기울기 기반 편향을 사용하여 적대적 예제에 대해 모델을 정규화할 수 있는 통합된 수학적 프레임워크를 개발할 수 있는가?
• RQ2 제안된 정규화 가족은 빠른 기울기 부호 방법과 어떻게 관련이 있는가?
• RQ3 다양한 p-노름이 적대적 훈련의 강건성과 일반화에 어떤 영향을 미치는가?
• RQ4 왜 적대적 예제는 다양한 모델 간에 일반화되는가? 이는 편향의 기하학적 또는 시각적 분석을 통해 설명될 수 있는가?

주요 결과

• 제안된 기울기 정규화 가족은 p = ∞일 때 빠른 기울기 부호 방법의 특수한 경우로 일반화된다.
• 이 방법은 데이터 증강 없이도 MNIST에서 보고된 최고의 정확도를 달성하며, 이전 방법들을 능가한다.
• CIFAR-10에서는 경쟁 가능한 성능을 기록하여 다양한 데이터셋 간의 강력한 일반화 능력을 보여준다.
• 적대적 편향의 시각화 결과는 의미적인 패턴을 보이며, 적대적 예제가 고차원 특징 공간에서 선형 유사 행동을 악용한다는 가설을 뒷받침한다.
• 이론적 분석을 통해 최적의 편향이 기울기 방향에 p-노름으로 스케일된 방향과 일치함을 확인하여, 최악의 경우 강건성을 보장한다.