[논문 리뷰] Local Convolutions Cause an Implicit Bias towards High Frequency Adversarial Examples

Josue Ortega Caro, Yilong Ju외 5명|arXiv (Cornell University)|2020. 06. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 신경망에서 국소적 컨볼루션(convolution)이 푸리에 불확도 원리에 의해 고주파 특징 학습을 암묵적으로 편향시킨다고 제안하며, 이는 적대적 예제가 주로 고주파 변형을 포함하는 이유를 설명한다. 저자들은 커널 국소성 증가가 이러한 편향을 강화함을 보이며, 컨볼루션을 비전 트랜스포머(Vision Transformers)나 MLP로 대체할 경우 이 편향이 크게 감소함을 확인하여, 아키텍처 설계가 적대적 내성에 핵심적임을 시사한다.

ABSTRACT

Adversarial Attacks are still a significant challenge for neural networks. Recent work has shown that adversarial perturbations typically contain high-frequency features, but the root cause of this phenomenon remains unknown. Inspired by theoretical work on linear full-width convolutional models, we hypothesize that the local (i.e. bounded-width) convolutional operations commonly used in current neural networks are implicitly biased to learn high frequency features, and that this is one of the root causes of high frequency adversarial examples. To test this hypothesis, we analyzed the impact of different choices of linear and nonlinear architectures on the implicit bias of the learned features and the adversarial perturbations, in both spatial and frequency domains. We find that the high-frequency adversarial perturbations are critically dependent on the convolution operation because the spatially-limited nature of local convolutions induces an implicit bias towards high frequency features. The explanation for the latter involves the Fourier Uncertainty Principle: a spatially-limited (local in the space domain) filter cannot also be frequency-limited (local in the frequency domain). Furthermore, using larger convolution kernel sizes or avoiding convolutions (e.g. by using Vision Transformers architecture) significantly reduces this high frequency bias, but not the overall susceptibility to attacks. Looking forward, our work strongly suggests that understanding and controlling the implicit bias of architectures will be essential for achieving adversarial robustness.

연구 동기 및 목표

• 적대적 예제가 눈에 띄지 않음에도 불구하고 고주파 성분으로 구성되는 이유를 탐구하기 위해.
• 국소적 컨볼루션의 아키텍처 선택이 이 고주파 편향의 근본 원인인지 확인하기 위해.
• 암묵적 편향이 공간적 국소성에 의해 유도되는 컨볼루션 계층이 고주파 특징을 학습하게 되는가의 가설을 테스트하기 위해.
• 비전 트랜스포머나 MLP와 같은 아키텍처 대안이 이 암묵적 편향과 적대적 내성에 미치는 영향을 탐색하기 위해.
• 푸리에 불확도 원리와 고주파 적대적 변형의 발생 간의 연결 고리를 설정하기 위해.

제안 방법

• 저자들은 적대적 변형의 이산 푸리에 변환을 사용하여 공간 및 주파수 도메인에서 선형 및 비선형 아키텍처의 암묵적 편향을 분석한다.
• Foolbox 라이브러리를 사용하여 PGD 및 기타 공격 방식으로 생성된 적대적 변형의 주파수 스펙트럼을 계산한다.
• 선형 모델의 경우, 토플리츠 행렬을 사용해 컨볼루션 연산을 모델링하고 주파수 도메인에서의 암묵적 정규화를 도출한다.
• 비선형 모델의 경우, 암묵적 편향을 주파수 도메인에서 근사하기 위해 중요도 맵(saliency maps)을 가중치의 대체 지표로 사용한다.
• 모델이 고주파 성분에 얼마나 민감한지 테스트하기 위해 주파수 도메인에서 클래스별 숏컷 특징(마스킹 행렬을 통해)을 도입한다.
• 커널 크기를 변화시켜 CNN, MLP, 비전 트랜스포머 등의 아키텍처를 비교함으로써 국소성의 영향을 고주파 편향에 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 신경망에서 국소적 컨볼루션을 사용할 경우, 주파수 도메인에서 고주파 특징 학습을 암묵적으로 편향시키는가?
• RQ2 컨볼루션 커널의 크기가 적대적 변형의 주파수 성분에 어떤 영향을 미치는가?
• RQ3 컨볼루션을 MLP나 비전 트랜스포머로 대체하는 아키텍처 선택이 고주파 편향을 어느 정도 감소시키는가?
• RQ4 적대적 예제의 고주파 성격은 데이터셋 통계가 아니라 아키텍처의 인덕티브 편향 때문인가?
• RQ5 푸리에 불확도 원리가 컨볼루션 모델에서 고주파 적대적 변형의 발생을 설명할 수 있는가?

주요 결과

• 컨볼루션 연산은 완전히 연결된 또는 MLP 스타일 아키텍처에 비해 고주파 대역에서 더 높은 에너지를 가진 적대적 변형을 일관되게 생성한다.
• 고주파 편향은 커널 크가 작아질수록 증가하며, 이는 공간적 국소성이 강할수록 주파수 편향이 증폭됨을 시사한다.
• 더 큰 컨볼루션 커널을 사용하거나 컨볼루션을 비전 트랜스포머나 MLP로 대체하면 적대적 변형의 고주파 성분이 크게 감소한다.
• 고주파 특징 학습을 향한 암묵적 편향은 푸리에 불확도 원리에 의해 설명된다: 공간적으로 국소화된 필터는 주파수적으로 국소화될 수 없으며, 이로 인해 고주파를 선호하는 트레이드오프가 발생한다.
• 푸리에 도메인에서 클래스별 주파수 기반 숏컷 특징을 도입하면 모델의 고주파 성분에 대한 민감도가 증가하며, 이는 주파수가 적대적 취약성에 기여하는 역할을 함을 검증한다.
• 비선형 모델의 중요도 맵은 가중치 기반 암묵적 편향 분석에 신뢰할 수 있는 대체 지표로 기능하며, 모델 행동의 주파수 도메인 해석을 가능하게 한다.