[논문 리뷰] Data Augmentation Revisited: Rethinking the Distribution Gap between Clean and Augmented Data

Zhuoxun He, Lingxi Xie외 4명|arXiv (Cornell University)|2019. 09. 19.

Advanced Neural Network Applications참고 문헌 47인용 수 35

한 줄 요약

논문은 데이터 증강을 정규화로 분석하고, 기대 위험의 상한을 도출하며, 분포 차이를 줄이기 위해 훈련 말기에 증강을 덜거나 전부 중단하는 방식으로 증강을 다듬는 것이 분류에서의 일관된 이득과 탐지 전이 개선을 가져온다고 제시합니다.

ABSTRACT

Data augmentation has been widely applied as an effective methodology to improve generalization in particular when training deep neural networks. Recently, researchers proposed a few intensive data augmentation techniques, which indeed improved accuracy, yet we notice that these methods augment data have also caused a considerable gap between clean and augmented data. In this paper, we revisit this problem from an analytical perspective, for which we estimate the upper-bound of expected risk using two terms, namely, empirical risk and generalization error, respectively. We develop an understanding of data augmentation as regularization, which highlights the major features. As a result, data augmentation significantly reduces the generalization error, but meanwhile leads to a slightly higher empirical risk. On the assumption that data augmentation helps models converge to a better region, the model can benefit from a lower empirical risk achieved by a simple method, i.e., using less-augmented data to refine the model trained on fully-augmented data. Our approach achieves consistent accuracy gain on a few standard image classification benchmarks, and the gain transfers to object detection.

연구 동기 및 목표

• 집중적 데이터 증강이 깨끗한 데이터와 증강된 데이터 사이의 분포 차이를 야기하는 이유를 동기화합니다
• 증강하에 경험적 위험과 일반화 오류를 구분하여 기대 위험의 상한을 재정의합니다
• 주요 특징을 보존하면서 미세한 특징에 대한 정규화 효과로서 증강을 설명합니다
• 훈련 말기에 증강을 줄이거나 중단하는 정제된 학습 전략을 제안합니다
• 표준 벤치마크에서의 개선 및 탐지 작업으로의 전이를 입증합니다

제안 방법

• 데이터 증강과 함께 기대 위험을 형식화하고 P와 P_aug를 구분합니다
• 주요 특징과 미세 특징으로의 기능 공간 분해를 이용해 집중적 증강 하의 경험적 위험 수렴을 분석합니다
• 테일러 급수를 사용해 집중적 증강이 미세 특징을 정규화하고 대응하는 가중치를 제약하는 방식을 정당화합니다
• 정제 단계에서 표준 증강은 계속하되 말기에 집중적 증강을 줄이거나 중단하는 정제된 데이터 증강을 제안합니다
• CIFAR-10/100, Tiny-ImageNet, ImageNet 및 Pascal VOC에서 Faster R-CNN으로 분류 및 탐지 전이를 테스트하여 실증적으로 검증합니다

실험 결과

연구 질문

• RQ1 데이터 증강은 경험적 위험과 일반화 오류를 통해 기대 위험의 상한에 어떤 영향을 미치는가?
• RQ2 큰 분포 차이가 존재할 때 집중적 증강이 경험적 위험의 수렴과 조화를 이룰 수 있는가?
• RQ3 말기에 증강을 줄이는 학습 스케줄이 최종 일반화 및 탐지 전이에 어떤 개선을 가져오는가?
• RQ4 정제된 증강의 실용적 이득은 표준 벤치마크와 탐지 작업에서 얼마나 나타나는가?

주요 결과

• 집중적 증강은 일반화 오차를 감소시키지만 증강 데이터에서 경험적 위험을 증가시킬 수 있습니다.
• 정제된 증강, 즉 말기에 증강을 줄이는 방식은 추가적인 경험적 위험 감소와 테스트 성능의 향상을 가져옵니다.
• 증강은 모델이 매개변수 공간의 더 나은 영역으로 수렴하도록 돕고, 정제는 CIFAR, Tiny-ImageNet, ImageNet 전반에 걸친 이득을 보존하거나 강화할 수 있습니다.
• 정제는 객체 탐지로의 전이를 개선하여 말기 학습에서의 증강이 위치 민감 특징을 회복하는 데 도움이 됨을 시사합니다.
• Mixup, Manifold Mixup, CutMix, AutoAugment 등 다양한 증강 유형에서도 이점이 지속되며, 정제는 증강 데이터에 대한 과적합을 완화합니다