[논문 리뷰] High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks

Haohan Wang, Xindi Wu외 2명|arXiv (Cornell University)|2019. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 43

한 줄 요약

이 논문은 CNN이 인간이 인지할 수 없는 고주파 이미지 구성 요소를 활용한다는 점을 보여주고, 일반화, 강건성-정확도 트레이드오프, 적대적 취약성, 학습 휴리스틱의 영향에 대해 설명하며 또한 간단한 스무딩 기반 방어를 제안한다.

ABSTRACT

We investigate the relationship between the frequency spectrum of image data and the generalization behavior of convolutional neural networks (CNN). We first notice CNN's ability in capturing the high-frequency components of images. These high-frequency components are almost imperceptible to a human. Thus the observation leads to multiple hypotheses that are related to the generalization behaviors of CNN, including a potential explanation for adversarial examples, a discussion of CNN's trade-off between robustness and accuracy, and some evidence in understanding training heuristics.

연구 동기 및 목표

• 이미지의 주파수 스펙트럼이 CNN 일반화와 어떤 관련이 있는지 조사한다.
• CNN이 섞인 라벨을 기억할 수 있는 이유와 주파수 관점에서의 적대적 취약성의 관계를 설명한다.
• 일반적인 학습 휴리스틱이 고주파 성분 의존도에 미치는 영향을 분석한다.
• 다양한 재학습 없이도 적대적 강인성을 개선할 수 있는 간단한 방법을 제안한다.

제안 방법

• 푸리에 기반 임계값 함수로 반경 r을 갖는 저주파(LFC)와 고주파(HFC) 성분으로 입력 이미지를 분해한다.
• Remark 1에 따라 CNN이 인간이 인식하는 LFC뿐 아니라 HFC에 의존할 수 있음을 보이는 모델 이론적 프레임워크를 정식화한다.
• Corollary 1에 따라 HFC 기반 표현에서 정확도와 로버스트니스 사이의 트레이드오프를 도출한다.
• 원래 라벨과 셔플된 라벨로 학습하는 것의 비교와 LFC/HFC 입력에 대한 다양한 r 값으로 CIFAR-10(및 부록의 다른 데이터셋)에서의 제어된 실험을 수행한다.
• BatchNorm, Mixup, Dropout, Adversarial Training 같은 학습 휴리스틱이 LFC/HFC 사용 및 로버스트니스에 미치는 영향을 분석한다.
• 로버스트니스를 위한 수단으로서 커널 스무딩 개념(첫 번째 레이어 커널)을 탐구한다(섹션 6).

실험 결과

연구 질문

• RQ1 입력 이미지의 주파수 스펙트럼이 CNN 일반화와 적대적 취약성에 어떤 영향을 미치는가?
• RQ2 CNN이 라벨 셔플 데이터을 왜 기억하는가, 그리고 이것이 LFC 대 HFC 신호와 어떤 관련이 있는가?
• RQ3 일반적인 학습 휴리스틱이 모델의 고주파 성분 의존도에 미치는 영향은 무엇인가?
• RQ4 간단한 커널 스무빙이 정확도 손실 없이 적대적 강인성을 향상시킬 수 있는가?
• RQ5 관찰된 주파수 기반 현상이 객체 탐지와 같은 작업으로 확장되는가?

주요 결과

• CNN은 인간이 인지할 수 없는 고주파 구성 요소에 의존할 수 있으며, 이는 일반화에 비직관적으로 기여한다.
• 정확도와 로버스트니스 사이의 트레이드오프가 있다: HFC를 활용하는 모델은 더 정확할 수 있지만 적대적 교란에 대해 덜 로버스트할 수 있다(Corollary 1).
• LFC는 HFC보다 일반화 가능성이 높은 경향이 있어 원래 라벨로 학습한 모델이 LFC 단서를 선호하는 이유를 설명하는 데 도움을 준다.
• Mixup과 BatchNorm 같은 학습 휴리스틱은 HFC 의존도를 증가시키는 경향이 있어 로버스트니스에 영향을 미친다; 적대적 학습은 일반적으로 HFC 의존도를 줄이고 로버스트니스를 향상시키지만 정확도에 비용이 따른다.
• 적대적 강인한 모델은 보통 첫 번째 레이어 커널이 더 매끄럽고, 간단한 커널 스무딩 연산이 깨끗한 정확도에 대한 비용을 일정 부분 들이면서 로버스트니스를 다소 개선할 수 있다.
• 주파수 관점은 객체 탐지에서도 유사한 현상을 드러내며, 저주파 입력과 고주파 입력에 서로 다른 영향을 준다.