[논문 리뷰] On Interaction Between Augmentations and Corruptions in Natural Corruption Robustness

Eric Mintun, Alexander Kirillov외 1명|arXiv (Cornell University)|2021. 02. 22.

Domain Adaptation and Few-Shot Learning인용 수 31

한 줄 요약

이 논문은 Minimal Sample Distance (MSD) 측정치를 이용하여 데이터 증강과 테스트 시 손상 간의 지각적 유사성 프레임워크를 제시하고, 증강-손상 유사성이 손상 오차를 예측한다는 것과 비유사한 손상으로의 일반화가 제한적이라는 점을 보인다.

ABSTRACT

Invariance to a broad array of image corruptions, such as warping, noise, or color shifts, is an important aspect of building robust models in computer vision. Recently, several new data augmentations have been proposed that significantly improve performance on ImageNet-C, a benchmark of such corruptions. However, there is still a lack of basic understanding on the relationship between data augmentations and test-time corruptions. To this end, we develop a feature space for image transforms, and then use a new measure in this space between augmentations and corruptions called the Minimal Sample Distance to demonstrate a strong correlation between similarity and performance. We then investigate recent data augmentations and observe a significant degradation in corruption robustness when the test-time corruptions are sampled to be perceptually dissimilar from ImageNet-C in this feature space. Our results suggest that test error can be improved by training on perceptually similar augmentations, and data augmentations may not generalize well beyond the existing benchmark. We hope our results and tools will allow for more robust progress towards improving robustness to image corruptions. We provide code at https://github.com/facebookresearch/augmentation-corruption.

연구 동기 및 목표

• 데이터 증강이 이미지 손상에 대한 강건성에 어떤 영향을 미치는지 이해한다.
• 변환에 대한 지각적 특징 공간을 개발하여 증강-손상 유사성을 정량화한다.
• 손상 강건성과 관련된 거리 척도로 Minimal Sample Distance (MSD)를 정의하고 검증한다.
• 새로운 벤치마크를 사용하여 비유사한 손상에 대한 증강 방식의 일반화를 조사한다.
• 강건한 증강 전략을 평가하고 설계하기 위한 실질적인 지침을 제공한다.

제안 방법

• 사전 학습된 분류기의 마지막 은닉 계층을 사용하여 변환을 인코딩하는 지각적 변환 특징 공간을 만든다.
• Minimal Sample Distance (MSD)를 가장 가까운 증강 샘플과 손상 분포의 평균 특징 사이의 거리로 정의한다.
• 광범위한 증강 스킴 집합(augmentation powerset)과 CIFAR-10-C/ImageNet-C 손상 간의 MSD를 계산하고 손상 오차와 상관관계를 평가한다.
• MSD를 MMD와 비교하여 MSD가 보지 못한 손상에 대한 강건성을 더 잘 예측한다는 주장을 제시한다.
• 기존 증강 방법(AutoAugment, Patch Gaussian, AugMix 등)을 CIFAR-10-C 및 ImageNet-C에 대해 평가하고 ImageNet-ar{C} 및 CIFAR-10-ar{C}를 비유사 벤치마크로 도입한다.
• 비유사 손상에서의 증강 성능 저하를 분석하여 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 훈련 시점 증강과 테스트 시점 손상의 지각적 유사성은 손상 오차와 어떤 관련이 있는가?
• RQ2 전통적인 분포 거리 측정치(예: MMD)보다 MSD가 손상 강건성을 더 잘 예측할 수 있는가?
• RQ3 일반적인 손상과 지각적으로 유사한 증강 방식은 비유사한 손상으로 일반화되는가?

주요 결과

• MSD는 CIFAR-10-C 손상 전반에 걸쳐 손상 오차와 강하게 상관관계가 있으며, 많은 손상에서 높은 Spearman 상관관계가 나타난다(예: 12개 중 15개 > 0.6).
• MMD는 특히 광범위한 증강에 대해 손상 오차를 신뢰할 만큼 예측하지 않는다.
• 지각적으로 유사한 증강은 훈련에 정확한 손상이 없더라도 유사한 손상에 대한 강건성을 향상시킬 수 있다.
• 변환 특성 공간에서 비유사성으로 선택된 새로운 손상(ImageNet-ar{C} 및 CIFAR-10-ar{C})은 여러 증강 스킴이 비유사 손상에서 악화된다는 것을 보여 주며 제한된 일반화를 강조한다.
• 광범위한 증강 방법(AutoAugment, AugMix, Stylized-ImageNet, DeepAugment)은 좁은 스킴보다 비유사 손상에 더 잘 일반화하는 경향이 있다.
• 주로 증강에 의존하지 않는 강건한 모델조차 동일한 비유사성 저하 패턴을 보이지 않으므로, 관찰된 효과가 증강 기반 강건성과 관련되어 있음을 시사한다.