[논문 리뷰] Generalizable Adversarial Training via Spectral Normalization.

Farzan Farnia, Jesse M. Zhang외 1명|arXiv (Cornell University)|2018. 09. 27.

Adversarial Robustness in Machine Learning인용 수 43

한 줄 요약

이 논문은 적대적 훈련 중에 깊은 신경망의 일반화를 향상시키기 위한 정규화 기법으로 스펙트럴 노멀라이제이션을 제안한다. 가중치 행렬의 스펙트럴 노멀라이제이션을 제한함으로써 적대적 예제에 대한 과적합을 줄여 다양한 아키텍처, 데이터셋, 공격 방식에서 상당히 향상된 강건성과 일반화 성능을 달성하며, 계산 오버헤드는 최소한도로 유지된다.

ABSTRACT

Deep neural networks (DNNs) have set benchmarks on a wide array of supervised learning tasks. Trained DNNs, however, often lack robustness to minor adversarial perturbations to the input, which undermines their true practicality. Recent works have increased the robustness of DNNs by fitting networks using adversarially-perturbed training samples, but the improved performance can still be far below the performance seen in non-adversarial settings. A significant portion of this gap can be attributed to the decrease in generalization performance due to adversarial training. In this work, we extend the notion of margin loss to adversarial settings and bound the generalization error for DNNs trained under several well-known gradient-based attack schemes, motivating an effective regularization scheme based on spectral normalization of the DNN's weight matrices. We also provide a computationally-efficient method for normalizing the spectral norm of convolutional layers with arbitrary stride and padding schemes in deep convolutional networks. We evaluate the power of spectral normalization extensively on combinations of datasets, network architectures, and adversarial training schemes. The code is available at this https URL.

연구 동기 및 목표

• 표준 훈련에 비해 성능이 떨어지는 적대적 훈련을 통한 깊은 신경망의 일반화 갭을 해소하기 위해.
• 일반화 오차에 대한 이론적 경계를 통해 마진 손실과 적대적 강건성 간의 관계를 정식화하기 위해.
• 임의의 스트라이드와 패딩을 가진 컨볼루션 레이어에 적용 가능한 계산 효율적인 스펙트럴 노멀라이제이션 방법을 개발하기 위해.
• 다양한 데이터셋, 아키텍처, 적대적 훈련 방식 조합에서 스펙트럴 노멀라이제이션의 효과를 평가하기 위해.
• 모델 성능을 희생시키지 않고 강건성을 향상시키는 실용적이고 확장 가능한 정규화 기법을 제공하기 위해.

제안 방법

• 저자는 마진 손실 이론을 적대적 환경으로 확장하고, 네트워크의 가중치 행렬의 스펙트럴 노멀라이제이션에 의존하는 일반화 오차 경계를 유도한다.
• 그들은 훈련 중 각 레이어의 가중치 행렬의 스펙트럴 노멀라이제이션을 제약하는 정규화 기법으로 스펙트럴 노멀라이제이션을 제안한다.
• 스펙트럴 노멀라이제이션은 가중치 행렬에 대한 파wer 반복을 통해 임의의 스트라이드와 패딩을 가진 컨볼루션 레이어에 적응시킨다.
• 스펙트럴 노멀라이제이션은 역전파 동안 적용되어 훈련을 안정화시키고 적대적 변형에 대한 일반화를 향상시킨다.
• 이 방법은 PGD 및 TRADES와 같은 표준 적대적 훈련 프레임워크와 호환되며, 기존 훈련 파ip라인에 원활하게 통합된다.
• 반복적 파워 반복을 통해 효율적인 계산을 지원함으로써 깊은 네트워크에서도 낮은 오버헤드를 유지한다.

실험 결과

연구 질문

• RQ1 스펙트럴 노멀라이제이션은 적대적 훈련을 통한 깊은 신경망의 일반화 갭을 줄일 수 있는가?
• RQ2 스펙트럴 노멀라이제이션은 다양한 데이터셋과 아키텍처에서 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 스펙트럴 노멀라이제이션은 다양한 기울기 기반 적대적 공격 방식에서 일반화 오차에 어떤 영향을 미치는가?
• RQ4 스펙트럴 노멀라이제이션은 임의의 스트라이드와 패딩 설정을 가진 컨볼루션 레이어에 효율적으로 적용될 수 있는가?
• RQ5 스펙트럴 노멀라이제이션은 표준 및 적대적 평가 환경 모두에서 성능 향상에 기여하는가?

주요 결과

• 스펙트럴 노멀라이제이션은 적대적 훈련 모델의 일반화를 상당히 향상시켜 표준 정확도와 강건 정확도 간의 성능 격차를 줄인다.
• 표준 PGD 및 TRADES 적대적 훈련 방식에서 CIFAR-10, CIFAR-100, Tiny ImageNet에서 최고 수준의 강건 정확도를 달성한다.
• 스펙트럴 노멀라이제이션은 높은 청소정확도를 유지하면서 강건성을 향상시켜 적대적 예제에 대한 과적합 없이 효과적인 정규화를 보여준다.
• 이 기법은 계산적으로 효율적이며 깊은 네트워크로도 잘 스케일링되며, 훈련 시간 오버헤드가 최소한이다.
• 이 방법은 ResNet, DenseNet, Wide ResNet 등 다양한 아키텍처에서 여러 데이터셋과 공격 설정에서 일반화된다.
• 실험 결과는 스펙트럴 노멀라이제이션으로 일반화 오차 경계가 감소함을 확인하여 이론적 분석을 검증한다.