[논문 리뷰] Fourier-Based Augmentations for Improved Robustness and Uncertainty Calibration

Ryan Soklaski, Michael Yee외 1명|arXiv (Cornell University)|2022. 02. 24.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 AugMix 프레임워크에 주파수 특이적 사인파 변형을 통합하여 일반적인 이미지 손상과 유니버설 적인 적대적 흐름에 대한 강건성을 향상시키는 푸리에 기반 데이터 증강 방법인 AugSVF를 제안한다. CIFAR-10-C와 CIFAR-100-C에서 고중요도의 노이즈 및 디지털 손상에 대해 분류 오차가 10퍼센트 포인트 이상 감소하였으며, 동시에 불확실성 캘리브레이션을 향상시키고 표적 Fourier 기반 공격에 대한 취약성을 감소시켰다.

ABSTRACT

Diverse data augmentation strategies are a natural approach to improving robustness in computer vision models against unforeseen shifts in data distribution. However, the ability to tailor such strategies to inoculate a model against specific classes of corruptions or attacks -- without incurring substantial losses in robustness against other classes of corruptions -- remains elusive. In this work, we successfully harden a model against Fourier-based attacks, while producing superior-to-AugMix accuracy and calibration results on both the CIFAR-10-C and CIFAR-100-C datasets; classification error is reduced by over ten percentage points for some high-severity noise and digital-type corruptions. We achieve this by incorporating Fourier-basis perturbations in the AugMix image-augmentation framework. Thus we demonstrate that the AugMix framework can be tailored to effectively target particular distribution shifts, while boosting overall model robustness.

연구 동기 및 목표

• 특정 분포 이탈, 특히 푸리에 기반 적대적 흐름에 대한 모델 강건성을 향상시키되, 일반적인 손상에 대한 성능을 떨어뜨리지 않도록 하는 도전에 대응하기 위해.
• AugMix 프레임워크에 푸리에 기반 변형을 통합하면 자연 손상과 유니버설 적인 적대적 공격에 대한 강건성을 동시에 향상시킬 수 있는지 조사하기 위해.
• 주파수 도메인 구성 요소를 사용한 표적 증강이 표준 AugMix을 초월해 불확실성 캘리브레이션과 일반화를 향상시킬 수 있는지 평가하기 위해.
• 푸리에 기반 변형에 대한 강건성이 다른 주파수 특이적 적대적 공격에 대한 저항력 향상과 관련이 있는지 확인하기 위해.

제안 방법

• 2D 푸리에 기반 행렬을 증강 원칙으로 사용하는 AugMix 프레임워크의 확장인 AugSVF를 도입한다.
• 파형 벡터 $\vec{k} = [k_x, k_y]$로 정의된 2D 사인파 평면파를 사용하여 주파수와 방향이 제어된 변형을 생성하며, 여기서 크기 $\left\|U\right\|_2$가 변형 강도를 제어한다.
• 입력 이미지의 각 색상 채널에 요소별로 덧셈을 적용하여 훈련 중에 이러한 푸리에 기반 증강을 적용하며, 에너지 수준을 일관되게 유지하기 위해 정규화를 수행한다.
• 표준 AugMix 연산과 푸리에 기반 증강의 혼합을 사용하여 모델을 훈련시켜, 변형이 광범위한 주파수와 방향을 커버하도록 보장한다.
• 모든 푸리에 기반 행렬에 대해 고정된 단위 이동 $\phi = \pi/4$를 사용하고, $\left\|U\right\|_2 > 2$인 훈련 예제는 제외하여 일반화를 유지하고 극단적 변형에 대한 과적합을 방지한다.
• 무작위 및 표적 푸리에 기반 손상 조건 하에서 CIFAR-10-C와 CIFAR-100-C에서 강건성을 평가하며, 평균 및 최대 분류 오차를 통해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 AugMix 프레임워크에 푸리에 기반 변형을 통합함으로써 일반적인 이미지 손상과 표적 푸리에 기반 적대적 공격에 대한 모델 강건성을 향상시킬 수 있는가?
• RQ2 데이터 증강에 주파수 특이적 변형을 통합하면 고주파 및 저주파 손상 간에 강건성에 상충 관계가 발생하는가?
• RQ3 표준 AugMix에 비해 푸리에 기반 증강의 통합이 불확실성 캘리브레이션 향상에 어느 정도 기여하는가?
• RQ4 푸리에 기반 변형에 대한 강건성이 다른 주파수 기반 유니버설 적대적 공격에 대한 일반화 향상과 관련이 있는가?

주요 결과

• 표준 AugMix에 비해 AugSVF는 CIFAR-10-C와 CIFAR-100-C에서 몇 가지 고중요도의 노이즈 및 디지털 유형의 손상에서 분류 오차를 10퍼센트 포인트 이상 감소시켰다.
• 표적 푸리에 기반 공격에서 $\left\|U\right\|_2 = 2$일 경우, CIFAR-10에서 기준 모델(Base)과 AugSV 모델의 최대 클래스 오차가 각각 88%와 83%에서 AugSVF로 28%로 감소하였으며, CIFAR-100에서는 98%와 95%에서 73%로 감소하였다.
• 대조 및 인파르스 노이즈를 제외한 모든 손상 유형에서 AugSVF는 강건성을 유지하거나 향상시켰으며, 이는 최소한의 부정적 트레이드오프를 의미한다.
• 불확실성 캘리브레이션을 크게 향상시켜 표준 테스트 조건 하에서 CIFAR-10의 평균 제곱근 캘리브레이션 오차를 22에서 8로, CIFAR-100에서는 34에서 16으로 감소시켰다.
• AugSVF로 훈련된 모델은 푸리에 기반 변형의 모든 주파수 및 방향 영역에서 거의 일정한 성능을 보였으며, 이는 광범위한 스펙트럼 강건성을 의미한다.
• AugSVF는 청소년 정확도와 강건성 측면에서 모두 Base 및 AugSV 모델을 능가하며, 이는 표적 주파수 도메인 증강이 성능을 희생시키지 않고 일반화를 향상시킨다는 것을 보여준다.