[논문 리뷰] Intriguing generalization and simplicity of adversarially trained neural networks

Chirag Agarwal, Peijie Chen외 1명|arXiv (Cornell University)|2020. 06. 16.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

이 논문은 적대적 훈련을 거친 신경망이 분포 외 데이터로 일반화되는 방식과 그들이 학습하는 표현 방식을 조사한다. 연구 결과, 강건한 모델은 실루엣이나 스타일화된 버전과 같은 무문자 이미지에서 더 잘 일반화되며, 형태에 의존하는 경향이 강하다. 반면 적대적 훈련은 세 가지 핵심적 변화를 유도한다: 더 부드러운 특징 탐지, 저수준 무늬/색상에 대한 집중 증가, 신경망 복잡도 감소.

ABSTRACT

Adversarial training has been the topic of dozens of studies and a leading method for defending against adversarial attacks. Yet, it remains unknown (a) how adversarially-trained classifiers (a.k.a classifiers) generalize to new types of out-of-distribution examples; and (b) what hidden representations were learned by robust networks. In this paper, we perform a thorough, systematic study to answer these two questions on AlexNet, GoogLeNet, and ResNet-50 trained on ImageNet. While robust models often perform on-par or worse than standard models on unseen distorted, texture-preserving images (e.g. blurred), they are consistently more accurate on texture-less images (i.e. silhouettes and stylized). That is, robust models rely heavily on shapes, in stark contrast to the strong texture bias in standard ImageNet classifiers (Geirhos et al. 2018). Remarkably, adversarial training causes three significant shifts in the functions of hidden neurons. That is, each convolutional neuron often changes to (1) detect pixel-wise smoother patterns; (2) detect more lower-level features i.e. textures and colors (instead of objects); and (3) be simpler in terms of complexity i.e. detecting more limited sets of concepts.

연구 동기 및 목표

• 표준 ImageNet 데이터 외의 분포 외 예측에 대해 적대적 훈련을 거친 분류기가 어떻게 일반화되는지 이해하는 것.
• 표준 모델과 비교해 강건한 모델이 학습하는 은닉 표현의 성격을 조사하는 것.
• 적대적 훈련 후 신경망의 구조적 및 기능적 변화를 규명하는 것.
• 강건성이 특징 계층의 이동과 표현 복잡도의 변화와 관련이 있는지 확인하는 것.

제안 방법

• PGD 공격를 사용해 ImageNet에서 AlexNet, GoogLeNet, ResNet-50를 적대적 훈련으로 훈련시킴.
• 흐릿한 이미지, 스타일화된 이미지, 실루엣 이미지 등 다양한 분포 외 데이터셋에서 일반화 성능 평가.
• 은닉층 활성화를 분석해 특징 복잡도, 공간적 부드러움, 각 신경망이 탐지하는 개념 수준을 평가.
• 다양한 아키텍처와 레이어에서 표준 모델과 적대적 훈련 모델의 신경망 행동 비교.
• 공간적 부드러움, 특징 특이성, 활성화에서의 개념 다양성 측정을 통해 신경망 기능의 변화 정도 정량화.

실험 결과

연구 질문

• RQ1 적대적 훈련을 거친 모델은 무늬나 왜곡이 가미된 분포 외 이미지에서 어떻게 일반화되는가?
• RQ2 강건한 모델은 표준 모델과 비교해 어떤 인도적 편향을 학습하는가?
• RQ3 적대적 훈련은 개별 컨볼루션 신경망의 기능적 행동을 어떻게 변화시키는가?
• RQ4 강건한 모델이 분류에 있어 형태보다 무늬에 얼마나 의존하는가?

주요 결과

• 적대적 훈련을 거친 모델은 실루엣이나 스타일화된 이미지와 같은 무문자 이미지에서 표준 모델보다 성능이 뛰어나, 형태 편향이 더 강하다는 것을 시사한다.
• 표준 ImageNet 분류기는 강한 무늬 편향을 보이지만, 강건한 모델은 형태 기반 특징 탐지로 이동한다.
• 강건한 모델의 각 컨볼루션 신경망은 활성화 패턴이 더 공간적으로 부드럽게 변하며, 더 둥그스름하고 부드러운 패턴을 탐지함을 나타낸다.
• 강건한 모델의 신경망은 고수준의 객체보다 저수준의 특징인 색상과 무늬를 더 많이 탐지함으로써 표현 계층의 이동이 일어남을 시사한다.
• 적대적 훈련을 거친 네트워크의 신경망은 복잡도가 감소하여 더 적고 제약이 있는 시각적 개념의 집합을 탐지함을 보였다.