[논문 리뷰] Defending Against Image Corruptions Through Adversarial Augmentations

Dan A. Calian, Florian Stimberg외 5명|arXiv (Cornell University)|2021. 04. 02.

Adversarial Robustness in Machine Learning참고 문헌 71인용 수 4

한 줄 요약

이 논문은 사전 훈련된 이미지-이미지 모델(예: 오토인코더)의 파라미터를 최적화하여 의미를 유지하는 적대적 이미지 손상(corruption)을 생성하는 AdversarialAugment(AdA)를 제안한다. 이러한 적대적 손상된 이미지로 분류기를 훈련시킴으로써, AdA는 일반적인 이미지 손상(예: CIFAR-10-C에서 평균 손상 오차 7.83%)과 $ε$-유계 적대적 편향(ImageNet 및 CIFAR-10에서)에 대한 강건성을 향상시킨다.

ABSTRACT

Modern neural networks excel at image classification, yet they remain vulnerable to common image corruptions such as blur, speckle noise or fog. Recent methods that focus on this problem, such as AugMix and DeepAugment, introduce defenses that operate in expectation over a distribution of image corruptions. In contrast, the literature on $\ell_p$-norm bounded perturbations focuses on defenses against worst-case corruptions. In this work, we reconcile both approaches by proposing AdversarialAugment, a technique which optimizes the parameters of image-to-image models to generate adversarially corrupted augmented images. We theoretically motivate our method and give sufficient conditions for the consistency of its idealized version as well as that of DeepAugment. Our classifiers improve upon the state-of-the-art on common image corruption benchmarks conducted in expectation on CIFAR-10-C and improve worst-case performance against $\ell_p$-norm bounded perturbations on both CIFAR-10 and ImageNet.

연구 동기 및 목표

• 일반적인 이미지 손상에 대한 강건성과 $ε$-유계 적대적 편향에 대한 강건성 간 격차를 해소하기 위해.
• 사전 정의된 손상 유형을 암기하는 데서 벗어나 다양한 의미적으로 일관된 손상을 생성함으로써 일반화 능력을 향상시키기 위해.
• 분포 강건성(e.g., AugMix)과 최악의 경우 강건성(e.g., 적대적 훈련)을 적대적 최적화를 통해 통합하기 위해.
• AdA와 DeepAugment에 대한 이론적 일관성 보장 및 PAC-Bayesian 일반화 경계를 제공하기 위해.
• 일반적인 손상 벤치마크와 적대적 강건성 벤치마크에서 최고 성능을 입증하기 위해.

제안 방법

• AdversarialAugment(AdA)는 의미적 콘텐츠를 유지하는 적대적 손상을 생성하기 위해 사전 훈련된 이미지-이미지 모델(예: VQ-VAE, EDSR, CAE)의 가중치를 최적화한다.
• 이 방법은 청소화된 입력에 대한 분류기의 손실을 최대화하도록 이미지-이미지 모델의 파라미터를 최적화함으로써 적대적 훈련을 수행하며, 시각적 유사성에 대한 제약 조건을 포함한다.
• 이 방법은 미분 가능하고, 서로 다른 이미지-이미지 모델을 사용하여 의미적으로 유의미하고 적대적인 성격의 손상을 생성한다.
• AdA는 AugMix 및 DeepAugment와 같은 기존 방법과 결합되어 분포 강건성과 최악의 경우 강건성의 장점을 살려 강건성을 더욱 향상시킨다.
• 이론적 분석은 AdA와 DeepAugment의 일관성에 충분한 조건을 제공하며, Neyshabur 등(2017)의 결과에서 유도된 PAC-Bayesian 일반화 경계를 도출한다.
• 이 방법은 여러 아키텍처(VQ-VAE, U-Net, EDSR, CAE)에 적용되어 CIFAR-10-C 및 ImageNet-C에서 추가 증강 여부에 관계없이 평가된다.

실험 결과

연구 질문

• RQ1 이미지-이미지 모델의 적대적 최적화가 히우리스틱 또는 무작위 손상보다 더 효과적이고 일반화 능력이 뛰어난 데이터 증강을 생성할 수 있는가?
• RQ2 AugMix 및 DeepAugment와 같은 기존 방법과 AdA를 결합하면 일반적인 손상과 최악의 경우 적대적 편향에 대한 강건성이 향상되는가?
• RQ3 AdA 및 유사한 방법에 대해 일관성과 일반화에 대해 이론적으로 어떤 보장을 제공할 수 있는가?
• RQ4 AdA는 다양한 손상 유형에 대해 시각적 적대적 훈련(PAT) 및 기타 SOTA 방법과 비교해 강건성이 어떻게 나타나는가?
• RQ5 다양한 이미지-이미지 모델 아키텍처(예: EDSR 대 CAE)가 생성된 적대적 손상의 품질과 일반화 능력에 얼마나 영향을 미치는가?

주요 결과

• AdA는 AugMix 및 DeepAugment와 결합했을 때 CIFAR-10-C에서 평균 손상 오차(mCE) 7.83%를 기록하여 이전 SOTA인 8.11%(DeepAugment)와 10.90%(AugMix)를 초월한다.
• ImageNet-C에서 AdA는 네 가지 모델(VQ-VAE, U-Net, EDSR, CAE)을 모두 사용했을 때 AugMix와 조합하면 mCE 72.27%를 기록하고, AugMix와 DeepAugment 모두와 조합하면 62.90%를 기록한다.
• AdA는 ImageNet에서 최악의 경우 강건성을 크게 향상시켜 PAT(23.51% mCE)를 능가하며, DeepAugment 및 AugMix 단독 사용보다 뛰어난 성능을 보인다.
• 이 방법은 다양한 손상 유형에 대해 잘 일반화되며, 특히 여러 이미지-이미지 모델을 조합했을 때 블러, dense 안개, 눈, JPEG 아티팩트 등에서 일관된 향상이 나타난다.
• EDSR 백본을 사용한 AdA는 CIFAR-10-C에서 mCE 7.83%를 기록하여 적대적 손상에서 고주파 수준의 세부 정보 유지가 효과적임을 입증한다.
• 이론적 분석은 이상화된 설정 하에서 AdA와 DeepAugment의 일관성을 확인하였으며, PAC-Bayesian 경계는 일반화 성능을 뒷받침한다.