[논문 리뷰] Does Data Augmentation Benefit from Split BatchNorms

Amil Merchant, Barret Zoph외 1명|arXiv (Cornell University)|2020. 10. 15.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 데이터 증강에서 분할 배치 정규화(분리된 통계를 사용해 정(clean) 이미지와 증강된 이미지에 대해 별도로 계산)가 모델 성능을 향상시키는지 조사한다. 강한 증강이 아닌 약한 증강을 사용해 주 BatchNorm를 정의할 경우, CIFAR-10, CIFAR-100, ImageNet에서 정확도가 크게 향상되며, 예측 평균화를 통해 강건성도 유지됨을 발견하여 정확도와 오염에 대한 강건성 사이의 상충 관계를 드러낸다.

ABSTRACT

Data augmentation has emerged as a powerful technique for improving the performance of deep neural networks and led to state-of-the-art results in computer vision. However, state-of-the-art data augmentation strongly distorts training images, leading to a disparity between examples seen during training and inference. In this work, we explore a recently proposed training paradigm in order to correct for this disparity: using an auxiliary BatchNorm for the potentially out-of-distribution, strongly augmented images. Our experiments then focus on how to define the BatchNorm parameters that are used at evaluation. To eliminate the train-test disparity, we experiment with using the batch statistics defined by clean training images only, yet surprisingly find that this does not yield improvements in model performance. Instead, we investigate using BatchNorm parameters defined by weak augmentations and find that this method significantly improves the performance of common image classification benchmarks such as CIFAR-10, CIFAR-100, and ImageNet. We then explore a fundamental trade-off between accuracy and robustness coming from using different BatchNorm parameters, providing greater insight into the benefits of data augmentation on model performance.

연구 동기 및 목표

• 심한 데이터 증강으로 인해 발생하는 훈련-테스트 분포 불일치 문제를 해결하기 위해.
• 분리된 통계를 사용해 정 이미지와 증강된 이미지에 대해 별도로 계산하는 분할 배치 정규화가 이 불일치를 완화할 수 있는지 조사하기 위해.
• 모델 성능 향상을 위해 추론 시 최적의 배치 정규화 파라미터 정의 방법을 규명하기 위해.
• 다양한 배치 정규화 파라미터 정의 방식을 사용할 경우 정확도와 강건성 사이의 상충 관계를 분석하기 위해.

제안 방법

• 강력하게 증강된, 분포가 벗어난 이미지에 대해 보조 배치 정규화를 사용하는 분할 배치 정규화 훈련 프레임워크를 채택하기 위해.
• 정 이미지가 아닌 약한 증강된 이미지의 통계를 사용해 주 배치 정규화를 정의하기 위해.
• 추론 시 주 배치 정규화 및 보조 배치 정규화 레이어의 예측을 가중 평균하여 정확도와 강건성을 균형 잡기 위해.
• 청결한 정확도, 오염 강건성(Common Corruptions), 노이즈에 대한 푸리에 감도를 평가하여 모델 성능을 평가하기 위해.
• 푸리에 도메인에서 저역통과 필터링을 적용하여 주파수 성분 사용 양상을 분석하고 성능 향상 이유를 설명하기 위해.
• 약한 증강이 성능 향상에 기여하는 기여도를 분리하기 위해 아블레이션 스터디를 수행하기 위해.

실험 결과

연구 질문

• RQ1 분할 배치 정규화 환경에서 주 배치 정규화를 정 이미지(증강되지 않은 이미지)의 통계로 정의할 경우 성능 향상이 이루어지는가?
• RQ2 약한 증강을 사용해 주 배치 정규화를 정의할 수 있으며, 이로 인해 정 이미지보다 더 나은 성능을 달성할 수 있는가?
• RQ3 다양한 배치 정규화 파라미터 정의 방식을 사용할 경우 정확도와 강건성 사이의 상충 관계는 어떠한가?
• RQ4 증강된 이미지의 주파수 성분은 분할 배치 정규화 환경에서 성능 향상과 어떤 관련이 있는가?

주요 결과

• 분할 배치 정규화 환경에서 정 이미지를 사용해 주 배치 정규화를 정의할 경우 성능 향상이 이루어지지 않으며, 과적합으로 인해 성능이 악화될 수 있다.
• 약한 증강된 이미지의 통계를 사용해 주 배치 정규화를 정의할 경우, CIFAR-10, CIFAR-100, ImageNet 벤치마크에서 청결한 정확도가 크게 향상된다.
• 강력하게 증강된 이미지로 훈련된 보조 배치 정규화는 고주파 노이즈에 더 민감함을 보이며, 이는 강건성이 떨어짐을 시사한다.
• 주 배치 정규화 및 보조 배치 정규화 레이어의 예측을 평균화할 경우, 강력한 증강으로부터 얻는 정확도 향상의 대부분를 유지하면서도 강건성을 복원할 수 있다.
• 약한 증강은 훈련 데이터의 고주파 정보를 더 잘 활용할 수 있도록 해주며, 푸리에 도메인 필터링 실험을 통해 이를 입증하였다.
• 약한 증강을 사용해 주 배치 정규화를 정의한 모델는 무증강과 강력한 증강(RandAugment 등)의 주파수 사용 패턴 사이를 효과적으로 보간한다.