[논문 리뷰] A Fourier Perspective on Model Robustness in Computer Vision

Dong Yin, Raphael Gontijo Lopes외 3명|arXiv (Cornell University)|2019. 06. 21.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 84

한 줄 요약

이 논문은 푸리에 분석을 사용하여 데이터 증강과 적대적 학습으로 인한 강건성 트레이드오프를 설명하고, 이 방법들이 모델을 저주파 특징으로 편향시키는 방식과 AutoAugment가 CIFAR-10-C와 ImageNet-C에서 강력한 강건성 이점을 보여줌을 보인다.

ABSTRACT

Achieving robustness to distributional shift is a longstanding and challenging goal of computer vision. Data augmentation is a commonly used approach for improving robustness, however robustness gains are typically not uniform across corruption types. Indeed increasing performance in the presence of random noise is often met with reduced performance on other corruptions such as contrast change. Understanding when and why these sorts of trade-offs occur is a crucial step towards mitigating them. Towards this end, we investigate recently observed trade-offs caused by Gaussian data augmentation and adversarial training. We find that both methods improve robustness to corruptions that are concentrated in the high frequency domain while reducing robustness to corruptions that are concentrated in the low frequency domain. This suggests that one way to mitigate these trade-offs via data augmentation is to use a more diverse set of augmentations. Towards this end we observe that AutoAugment, a recently proposed data augmentation policy optimized for clean accuracy, achieves state-of-the-art robustness on the CIFAR-10-C benchmark.

연구 동기 및 목표

• 시각 영역에서 분포 변화가 모델의 강건성에 어떤 영향을 미치는지 조사하되, 손상된 데이터의 주파수 성분에 초점을 맞춘다.
• 일반적인 데이터 증강과 적대적 학습으로 인해 발생하는 강건성 트레이드오프를 설명한다.
• 확장 편향이 고주파 대 저주파 입력 특징에 대한 의존도에 어떻게 영향을 미치는지 특징짓는다.
• 손상 전반에 걸친 강건성 향상을 위한 대체 증강 전략(AutoAugment)을 평가한다.

제안 방법

• 이미지와 손상에 2D 푸리에 변환을 정의하고 적용한다.
• 주파수 특이적 교란을 만들기 위해 고통 필터링/저통과 필터링과 푸리에 기저 교란을 사용한다.
• 자연 학습, 가우시안 증강, 적대적 학습, AutoAugment 모델을 부패 벤치마크에서 비교한다.
• 테스트 정확도와 부패 오류 지표(mCE)를 사용해 CIFAR-10-C와 ImageNet-C 전반에 걸쳐 강건성을 정량화한다.
• 공격 하에서 주파수 구성 이해를 위해 푸리에 도메인에서의 적대적 교란을 분석한다.

실험 결과

연구 질문

• RQ1 가우시안 데이터 증강과 적대적 학습이 다양한 주파수 손상에 대한 모델 강건성에 어떤 영향을 미치는가?
• RQ2 주파수 기반 관점이 고주파 및 저주파 손상 간 관찰된 강건성 트레이드오프를 설명할 수 있는가?
• RQ3 더 다양한 증강 정책(AutoAugment)이 단일 전략 증강보다 더 넓은 강건성을 제공하는가?
• RQ4 자연 학습된 모델과 적대적 학습된 모델의 적대적 교란의 주파수 패턴은 어떠한가?

주요 결과

• 가우시안 증강과 적대적 학습은 저주파 정보에 모델을 편향시켜 고주파 손상에 대한 강건성을 개선하지만 저주파 손상과 원데이터 정확도에는 해를 끼친다.
• 저주파 및 고주파 교란은 모델 간에 뚜렷한 강건성 패턴을 드러내며, 프런트 엔드 필터링은 주파수 편향 효과를 확인한다.
• AutoAugment는 CIFAR-10-C에서 평균 부패 정확도와 최상의 mCE를 달성하며, 대부분의 부패에서 자연적, 가우시안, 적대적 학습을 능가한다.
• 자연 학습된 모델의 적대적 교란은 고주파에 집중되는 반면, 적대적으로 학습된 모델은 교란의 주파수에서 자연 데이터와 유사하다.
• 고주파 콘텐츠 교란은 콘텐츠 보존형 푸리에 기저 공격으로 정확도를 재앙적으로 감소시킬 수 있어 보안 관련 약점을 드러낸다.
• 강건성 전이의 보편적 주파수 기반 예측변수는 없으며, 일부 저주파 증강은 additive-noise 강건성은 개선하면서도 안개/대비 강건성을 저하시킨다.