[논문 리뷰] Adversarial Noise Layer: Regularize Neural Network By Adding Noise

Zhonghui You, Jinmian Ye외 3명|arXiv (Cornell University)|2018. 05. 21.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 훈련 중 중간층 활성화에 기울기 기반의 적대적 노이즈를 주입함으로써 CNN의 일반화 및 강건성을 향상시키는 Adversarial Noise Layer (ANL) 및 그 효율적인 변종인 Class Adversarial Noise Layer (CANL)을 제안한다. 이 방법은 CIFAR-10, CIFAR-100, ImageNet에서 최고 성능을 기록하며, ANL/CANL로 훈련된 모델은 기존 적대적 훈련과 유사한 강건성을 보이며, FGSM 공격에 대해 유사한 수준의 강건성을 확보한다.

ABSTRACT

In this paper, we introduce a novel regularization method called Adversarial Noise Layer (ANL) and its efficient version called Class Adversarial Noise Layer (CANL), which are able to significantly improve CNN's generalization ability by adding carefully crafted noise into the intermediate layer activations. ANL and CANL can be easily implemented and integrated with most of the mainstream CNN-based models. We compared the effects of the different types of noise and visually demonstrate that our proposed adversarial noise instruct CNN models to learn to extract cleaner feature maps, which further reduce the risk of over-fitting. We also conclude that models trained with ANL or CANL are more robust to the adversarial examples generated by FGSM than the traditional adversarial training approaches.

연구 동기 및 목표

• 과도한 파라미터와 제한된 훈련 데이터로 인해 발생하는 딥 CNN의 과적합 문제를 해결하기 위해.
• 추론 비용을 증가시키지 않고 모델의 일반화 능력을 향상시키기 위해.
• 특히 FGSM 공격에 대한 강건성을 향상시키기 위해.
• 주류 CNN 아키텍처와 호환되는 경량이며 즉시 사용 가능한 정규화 기법을 개발하기 위해.

제안 방법

• ANL은 현재 배치의 기울기를 사용하여 중간층 활성화에 적대적 노이즈를 생성하며, 이는 초파rameter ε로 스케일링된다.
• CANL은 각 클래스별 기울기를 캐시함으로써 훈련 중 계산을 줄여 효율성을 향상시키면서도 강력한 정규화를 유지한다.
• 노이즈는 훈련 중에만 적용되고 추론 시에는 제거되어 추론 오버헤드가 발생하지 않는다.
• 이 방법은 다양한 CNN 아키텍처와 호환되며, 합성곱층 뒤나 입력 부분에 삽입할 수 있다.
• 노이즈는 요소별로 클리핑되어 크기를 통제하고 안정성을 확보한다.
• 이 방법은 Layerwise Adversarial Training (LAT)과 개념적으로 유사하지만, 현재 배치의 기울기를 사용하고 클래스별 기울기 캐싱을 가능하게 하여 차별화된다.

실험 결과

연구 질문

• RQ1 중간층 활성화에 적대적 노이즈를 주입하는 것이 CNN의 일반화 능력을 향상시킬 수 있는가?
• RQ2 기본 훈련 대비 제안된 방법이 FGSM 적대적 공격에 대해 강건성을 향상시키는가?
• RQ3 기존 정규화 기법들인 Dropout 및 LAT와 비교해 ANL/CANL의 성능 및 효율성은 어떠한가?
• RQ4 ANL/CANL은 ImageNet과 같은 대규모 데이터셋에 효과적으로 적용될 수 있는가?
• RQ5 ANL/CANL의 성능 향상 요인이 향상된 특징 학습 때문인지, 노이즈 유도 정규화 때문인지?

주요 결과

• CIFAR-10에서 ANL은 정확도를 94.3%로 향상시키고, CANL은 94.1%를 기록하여 기준 모델 및 기타 정규화 기법을 능가했다.
• CIFAR-100에서 ANL은 75.4%의 정확도를 달성하여 기준 모델 및 LAT를 크게 앞섰다.
• ImageNet에서 CANL로 정규화된 AlexNet은 60.52%의 정확도를 기록하여 기준 모델의 56.35% 대비 4.17%p 향상되었다.
• δ=8인 FGSM 공격 하에서 ANL(ε=0.05)은 61.0%의 정확도를 유지했으며, 적대적 훈련(53.9% for AT)과 유사한 성능을 보였다.
• ANL 또는 CANL로 훈련된 모델은 기본 훈련보다 FGSM 공격에 대해 더 강건한 성능을 보였으며, ANL(ε=0.05)는 δ=2일 때 79.2%의 정확도를 기록했다.
• CANL는 훈련 시간을 크게 줄였음에도 불구하고 ANL와 거의 동일한 성능을 달성하여 높은 효율성을 입증했다.