[논문 리뷰] The shape and simplicity biases of adversarially robust ImageNet-trained CNNs

Peijie Chen, Chirag Agarwal외 1명|arXiv (Cornell University)|2020. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 7

한 줄 요약

이 논문은 적대적 훈련을 통해 ImageNet으로 훈련된 CNN의 형태 편향과 단순성 편향을 조사하며, 적대적 훈련이 세 가지 핵심 단순화 메커니즘을 유도함을 밝혀낸다: 고주파 노이즈를 차단하는 더 부드러운 필터, 텍스처와 색상과 같은 저수준 특징으로의 이동, 그리고 뉴런당 입력 다양성 감소. 이러한 변화는 R 네트워크가 분포 외부 및 적대적 예측에서 더 뛰어난 강건성과 일반화 성능을 보이는 이유를 설명한다.

ABSTRACT

Increasingly more similarities between human vision and convolutional neural networks (CNNs) have been revealed in the past few years. Yet, vanilla CNNs often fall short in generalizing to adversarial or out-of-distribution (OOD) examples which humans demonstrate superior performance. Adversarial training is a leading learning algorithm for improving the robustness of CNNs on adversarial and OOD data; however, little is known about the properties, specifically the shape bias and internal features learned inside adversarially-robust CNNs. In this paper, we perform a thorough, systematic study to understand the shape bias and some internal mechanisms that enable the generalizability of AlexNet, GoogLeNet, and ResNet-50 models trained via adversarial training. We find that while standard ImageNet classifiers have a strong texture bias, their R counterparts rely heavily on shapes. Remarkably, adversarial training induces three simplicity biases into hidden neurons in the process of "robustifying" CNNs. That is, each convolutional neuron in R networks often changes to detecting (1) pixel-wise smoother patterns, i.e., a mechanism that blocks high-frequency noise from passing through the network; (2) more lower-level features i.e. textures and colors (instead of objects);and (3) fewer types of inputs. Our findings reveal the interesting mechanisms that made networks more adversarially robust and also explain some recent findings e.g., why R networks benefit from a much larger capacity (Xie et al. 2020) and can act as a strong image prior in image synthesis (Santurkar et al. 2019).

연구 동기 및 목표

• 적대적으로 강건한(R) CNN 모델이 ImageNet에서 표준(S) 모델에 비해 형태 편향을 보이는지 이해한다.
• R 네트워크에서 더 강한 형태 편향이 분포 외부(OOD) 및 손상된 이미지에서의 일반화 성능 향상과 관련이 있는지 조사한다.
• 특히 은닉층 표현에서 작용하는 내부 신경 메커니즘을 밝혀내어 적대적 강건성을 가능하게 한다.
• 표준 ImageNet 테스트 세트에서 성능이 떨어지는 데도 불구하고 R 네트워크가 왜 분포 외부 데이터로 더 잘 일반화되는지 설명한다.
• 필터의 부드러움, 특징 계층 구조, 뉴런의 입력 다양성 분석을 통해 단순성의 역할을 명확히 한다.

제안 방법

• AlexNet, GoogLeNet, ResNet-50의 은닉 뉴런에서 형태 대 텍스처 선호도를 분석하기 위해 쿠-컨플릭트 및 NetDissect 방법을 적용한다.
• 층별 커널 총 변동성(Total Variation, TV)을 사용해 필터의 부드러움을 정량화하고 노이즈 차단 능력을 평가한다.
• NetDissect를 통해 감지된 고유한 개념의 수를 세어 뉴런의 입력 다양성을 측정하며, 필터를 0으로 설정하는 실험을 통해 특징 중요도를 평가한다.
• 스crambled, 스타일화된, 흑백, 실루엣 이미지 변환을 사용해 표준(S) 및 강건(R) 모델을 여러 아키텍처에서 비교한다.
• 형태 제거 및 텍스처 제거된 이미지 변형에서의 분류 정확도를 사용해 형태 및 텍스처 편향을 정량화한다.
• 특정 특징 검출기가 네트워크에서 0으로 설정되었을 때의 정확도 저하를 측정해 채널 수준 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 적대적으로 강건한 네트워크는 표준 ImageNet 분류기보다 형태를 텍스처보다 선호하는가?
• RQ2 R 네트워크에서 더 강한 형태 편향이 스타일화되거나 실루엣 형태의 이미지와 같은 분포 외부 및 손상된 이미지에서 성능 향상과 관련이 있는가?
• RQ3 적대적 훈련이 필터의 부드러움, 특징 계층 구조, 뉴런의 입력 다양성 측면에서 내부 표현을 어떻게 변화시켜 강건성을 향상시키는가?
• RQ4 표준 테스트 세트에서 성능이 떨어지는 데도 불구하고 R 네트워크가 왜 분포 외부 데이터로 더 잘 일반화되는가?
• RQ5 R 네트워크가 표준 모델보다 더 단순하고 제약이 더 강한 표현을 얼마나 배우는가? 예를 들어 더 부드러운 필터와 더 적은 입력 유형을 포함한가?

주요 결과

• 적대적으로 강건한(R) 네트워크는 약 67%의 비율로 텍스처보다 형태를 선호하며, 이는 표준(S) 네트워크에서 관찰된 25%의 선호도보다 유의미하게 높다.
• R 네트워크는 텍스처가 없는, 왜곡된 이미지—예를 들어 COCO 이미지의 스타일화된 또는 실루엣 형태의 이미지—에서 S 네트워크보다 뛰어난 성능을 보이며, 이는 분포 외부 일반화 능력 향상의 확인이다.
• 적대적 훈련은 R 네트워크에서 더 부드러운 필터를 유도하여 컨볼루션 커널의 총 변동성(Total Variation, TV)을 감소시키고, 고주파 노이즈가 네트워크 전반에 퍼지는 것을 차단한다.
• R 네트워크는 텍스처와 색상과 같은 저수준 특징으로의 감지 경향을 보이며, '줄무늬'나 '밴드'와 같은 단순한 텍스처 패턴을 특화한 채널 수가 뚜렷하게 증가한다.
• R 네트워크의 은닉 뉴런은 평균적으로 더 적은 고유한 개념을 감지하여, 내부 표현의 단순화를 나타낸다.
• 더 부드러운 필터, 저수준 특징 감지, 감소된 입력 다양성으로 인한 내부 표현의 단순화가, R 네트워크가 적대적 및 OOD 예측에서 더 뛰어난 강건성과 일반화 성능을 보이는 이유를 설명한다.