[논문 리뷰] On the effectiveness of adversarial training against common corruptions

Klim Kireev, Maksym Andriushchenko외 1명|arXiv (Cornell University)|2021. 03. 03.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 17

한 줄 요약

이 논문은 $\varepsilon$-적대적 훈련을 소규모 변형 반경($\varepsilon = 1/255$)으로 사용할 경우 CIFAR-10 및 ImageNet-100에서 일반적인 이미지 손상에 대해 강건성을 크게 향상시킨다. 기존의 가우시안 증강과 같은 표준 기준보다 뛰어난 성능을 보이며, 학습된 인지적 유사도(LPIPS)를 거리 측도로 사용하는 새로운 효율적인 적대적 훈련의 완화 기법을 제안한다. 이 기법은 AugMix 및 DeepAugment와 같은 데이터 증강 기법과 조합될 경우 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The literature on robustness towards common corruptions shows no consensus on whether adversarial training can improve the performance in this setting. First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration. Then we explain why adversarial training performs better than data augmentation with simple Gaussian noise which has been observed to be a meaningful baseline on common corruptions. Related to this, we identify the $σ$-overfitting phenomenon when Gaussian augmentation overfits to a particular standard deviation used for training which has a significant detrimental effect on common corruption accuracy. We discuss how to alleviate this problem and then how to further enhance $\ell_p$ adversarial training by introducing an efficient relaxation of adversarial training with learned perceptual image patch similarity as the distance metric. Through experiments on CIFAR-10 and ImageNet-100, we show that our approach does not only improve the $\ell_p$ adversarial training baseline but also has cumulative gains with data augmentation methods such as AugMix, DeepAugment, ANT, and SIN, leading to state-of-the-art performance on common corruptions. The code of our experiments is publicly available at https://github.com/tml-epfl/adv-training-corruptions.

연구 동기 및 목표

• . 적대적 훈련이 일반적인 이미지 손상에 대해 강건성을 향상시키는지에 대한 문헌 내의 모호함을 해결하고자 한다.
• 적대적 훈련이 단순한 가우시안 데이터 증강보다 우수한 이유를 조사하며, 핵심 문제로 $\sigma$-오버피팅이 가우시안 증강에서 발생함을 규명한다.
• 일반화 능력이 뛰어나고 더 효과적이며 효율적인 적대적 훈련 방법을 개발하고자 한다.
• 기존의 데이터 증강 기법과 새로운 방법을 조합하여 표준 벤치마크에서 최신 기술 수준의 성능을 달성하고자 한다.
• 분포 이탈 상황에서 정확도와 校정(_calibration_)을 모두 향상시키고자 하며, 특히 손상된 이미지에서의 성능 향상을 목표로 한다.

제안 방법

• . 저자들은 철저히 선택된 변형 반경을 가진 $\varepsilon$-적대적 훈련을 사용하며, 표준 $\varepsilon = 8/255$보다 $\varepsilon = 1/255$가 훨씬 뛰어난 성능을 낸다는 것을 발견한다.
• 학습된 인지적 이미지 패치 유사도(LPIPS)를 거리 측도로 사용하는 적대적 훈련의 새로운 완화 기법을 도입한다. 이는 계층별 적대적 변형을 통해 계산된다.
• 이 방법은 계산 효율성을 유지하면서도 강력한 강건성을 확보하여, Fast PAT 및 표준 $\varepsilon$-적대적 훈련과 같은 이전 접근법을 능가한다.
• AugMix, DeepAugment, ANT, SIN과 같은 기존의 데이터 증강 기법과 조합하여 누적적인 성능 향상을 달성한다.
• 다양한 아키텍처(ResNet-18, WRN-28-10)와 데이터셋(CIFAR-10-C, ImageNet-100-C)을 대상으로 광범위한 분석 실험을 수행하여 일반화 능력을 검증한다.
• 교정 능력은 기대 교정 오차(ECE)를 사용하여 평가하며, 신뢰도 향상을 위해 온도 스케일링을 적용한다.

실험 결과

연구 질문

• RQ1 . 소규모 변형 반경을 가진 $\varepsilon$-적대적 훈련이 표준 설정보다 일반적인 이미지 손상에 대해 강건성을 향상시키는가?
• RQ2 적대적 훈련이 둘 다 데이터 증강 유사 방법임에도 불구하고 가우시안 데이터 증강보다 뛰어나게 되는 이유는 무엇인가?
• RQ3 가우시안 증강에서 성능 저하가 발생하는 원인은 무엇이며, 이를 완화할 수 있는가?
• RQ4 학습된 인지적 유사도 측도가 적대적 훈련의 효율성과 강건성 향상에 기여할 수 있는가?
• RQ5 제안된 방법을 기존의 데이터 증강 기법과 조합할 경우 표준 손상 벤치마크에서 누적적인 성능 향상이 이루어지는가?

주요 결과

• . $\varepsilon = 1/255$를 사용한 $\varepsilon$-적대적 훈련은 CIFAR-10-C에서 84.8%의 정확도를 달성하며, 표준 $\varepsilon = 8/255$ 설정보다 뚜렷하게 뛰어난 성능을 보인다.
• 제안된 LPIPS 기반 완화 기법(RLAT)은 WRN-28-10을 사용할 경우 CIFAR-10-C에서 85.9%의 정확도를 기록하며, 다른 적대적 훈련 방법보다 뛰어나다.
• CIFAR-10-C에서 RLAT와 AugMix를 조합하면 ECE가 1.3%로 내려가며, 평가된 모든 방법 중에서 가장 낮은 수준이다.
• ImageNet-100-C에서 RLAT와 ANT 3x3를 조합하면 ECE가 2.8%로 떨어지며, ANT 단독 사용 시 4.5%보다 훨씬 낮다.
• 이 방법은 다양한 아키텍처와 데이터셋에서 강력한 일반화 능력을 보이며, 성능 향상이 일관되게 관찰된다.
• 연구는 소규모 $\varepsilon$로 수행된 적대적 훈련이 손상된 데이터에서 교정 능력을 향상시킴을 확인한다(ECE는 16.6%에서 9.9%로 감소), 동시에 청소년 데이터에서는 정확도가 약간 떨어지지만(2.9%에서 4.0%로 RLAT 기준) 영향을 최소화한다.