[논문 리뷰] How Much Data Are Augmentations Worth? An Investigation into Scaling Laws, Invariance, and Implicit Regularization

Jonas Geiping, Micah Goldblum외 4명|arXiv (Cornell University)|2022. 10. 12.

Gaussian Processes and Bayesian Inference인용 수 11

한 줄 요약

이 논문은 스케일링 법칙을 통해 실데이터 대비 데이터 증강(DA)의 이점을 정량화함으로써 딥러닝에서 데이터 증강의 메커니즘을 조사한다. 증강은 분포 외 일반화에 특히 유용하며, 유도된 확률적 특성과 암묵적 정규화 덕분에 추가 실데이터보다 더 유용할 수 있음을 발견했다. TrivialAug 및 유사 정책은 소규모 데이터셋에서도 강력한 성능을 보였다.

ABSTRACT

Despite the clear performance benefits of data augmentations, little is known about why they are so effective. In this paper, we disentangle several key mechanisms through which data augmentations operate. Establishing an exchange rate between augmented and additional real data, we find that in out-of-distribution testing scenarios, augmentations which yield samples that are diverse, but inconsistent with the data distribution can be even more valuable than additional training data. Moreover, we find that data augmentations which encourage invariances can be more valuable than invariance alone, especially on small and medium sized training sets. Following this observation, we show that augmentations induce additional stochasticity during training, effectively flattening the loss landscape.

연구 동기 및 목표

• 데이터 증강이 단순한 데이터 확장 외에 모델 일반화를 향상시키는 메커니즘을 분리해내는 것.
• 스케일링 법칙을 사용하여 증강 데이터와 실학습 데이터 간의 교환 비율을 정량화하는 것.
• 데이터 증강의 이점이 유사성만으로 설명되는지, 아니면 확률적 특성과 암묵적 정규화가 핵심 역할을 하는지 조사하는 것.
• 분포 이탈 상황에서 손실 함수의 평탄함과 일반화에 대한 증강의 영향을 평가하는 것.
• 데이터 분포에서 벗어나도 성능 향상에 기여할 수 있는 증강 기법이 있는지 도전적으로 평가하는 것.

제안 방법

• 검증 정확도를 프록시로 사용하여, 주어진 수의 증강 샘플에 해당하는 실데이터 샘플의 유효 수를 추정하기 위한 거듭제곱 모델을 제안한다.
• 스케일링 법칙을 활용하여 증강 유무에 따라 다양한 데이터셋 크기에서의 모델 성능를 비교하며, 형태 $ f(x) = ax^{-c} + b $ 의 함수를 피팅한다.
• 기울기 노이즈와 곡률 측정법을 통해 손실 함수의 평탄함을 측정하여 데이터 증강의 정규화 효과를 평가한다.
• 다양한 증강 전략(예: TrivialAug, RandAug, AutoAug)을 적용하고, 내분포 및 외분포 일반화에 미치는 영향을 평가한다.
• CIFAR-10, CIFAR-10-C, ImageNet에서 제어된 실험을 통해 증강의 영향을 일반화 및 손실 함수 기하학적 특성에서 분리한다.
• 성능 곡선의 역수 스케일링을 통해 정의된 '교환 비율' 개념을 도입하여 증강 데이터와 실데이터의 가치를 비교한다.

실험 결과

연구 질문

• RQ1 분포 이탈 상황에서 데이터 증강의 성능 향상은 추가 실학습 데이터에 비해 어떻게 비교되는가?
• RQ2 유사성, 확률적 특성, 암묵적 정규화가 데이터 증강의 이점에 얼마나 기여하는가?
• RQ3 데이터 분포에서 벗어나도 성능 향상에 기여할 수 있는 증강 기법이 존재하는가?
• RQ4 데이터 증강은 손실 함수의 평탄함에 어떻게 영향을 주며, 이는 일반화 향상과 관련이 있는가?
• RQ5 다양한 모델 아키텍처와 데이터셋에서 증강 샘플과 실데이터 샘플 간의 유효 교환 비율은 무엇인가?

주요 결과

• CIFAR-10-C와 같은 분포 외 테스트 세트에서는, 다양한 샘플을 생성하지만 분포적으로 일관되지 않은 증강 기법이 추가 실데이터보다 더 유용할 수 있다.
• 유사성 유도 증강 기법은 유사성만을 고려할 때보다 더 효과적이며, 특히 소규모 및 중간 규모의 학습 세트에서 두드러진다.
• 증강 기법은 훈련 중 추가적인 확률적 특성을 유도하여 기울기 노이즈와 곡률 측정을 통해 손실 함수의 평탄함을 증가시키고 일반화 성능을 향상시킨다.
• 증강 데이터와 실데이터 간의 교환 비율은 일정하지 않다: 데이터셋 크기가 증가함에 따라 증가하며, 증강 기법이 어떤 양의 실데이터보다도 성능을 뛰어넘을 경우(예: TrivialAug로 CIFAR-10-C에서), 비율이 정의되지 않을 수 있다.
• TrivialAugment 및 유사 정책은 소규모 데이터셋에서도 강력한 성능을 보이며, 표준 유사성 외에 효과적인 암묵적 정규화를 유도하는 것으로 나타났다.
• 증강을 통해 확보한 유효 샘플 수와 모델의 평탄함 사이에 강한 상관관계가 존재하지만, TrivialAug의 경우 비례적인 성능 향상 없이 인위적으로 평탄한 모델을 생성할 수 있다.