[논문 리뷰] RandAugment: Practical data augmentation with no separate search.

Ekin D. Cubuk, Barret Zoph외 2명|arXiv (Cornell University)|2019. 09. 30.

Advanced Neural Network Applications참고 문헌 51인용 수 183

한 줄 요약

RandAugment는 별도의 프록시 태스크가 필요 없이 타겟 모델과 데이터셋에서 직접 증강 정책을 최적화하는 실용적이고 검색이 없는 데이터 증강 방법을 제안한다. CIFAR-10, CIFAR-100, SVHN 및 ImageNet(85.0% top-1 정확도)에서 최신 기준 성능을 달성하며, 이전의 학습된 방법들인 AutoAugment를 능가하면서도 모델과 데이터셋 크기에 따라 동적 정규화 강도 조정이 가능하다.

ABSTRACT

Recent work has shown that data augmentation has the potential to significantly improve the generalization of deep learning models. Recently, learned augmentation strategies have led to state-of-the-art results in image classification and object detection. While these strategies were optimized for improving validation accuracy, they also led to state-of-the-art results in semi-supervised learning and improved robustness to common corruptions of images. One obstacle to a large-scale adoption of these methods is a separate search phase which significantly increases the training complexity and may substantially increase the computational cost. Additionally, due to the separate search phase, these learned augmentation approaches are unable to adjust the regularization strength based on model or dataset size. Learned augmentation policies are often found by training small models on small datasets and subsequently applied to train larger models. In this work, we remove both of these obstacles. RandAugment may be trained on the model and dataset of interest with no need for a separate proxy task. Furthermore, due to the parameterization, the regularization strength may be tailored to different model and dataset sizes. RandAugment can be used uniformly across different tasks and datasets and works out of the box, matching or surpassing all previous learned augmentation approaches on CIFAR-10, CIFAR-100, SVHN, and ImageNet. On the ImageNet dataset we achieve 85.0% accuracy, a 0.6% increase over the previous state-of-the-art and 1.0% increase over baseline augmentation. On object detection, RandAugment leads to 1.0-1.3% improvement over baseline augmentation, and is within 0.3% mAP of AutoAugment on COCO. Finally, due to its interpretable hyperparameter, RandAugment may be used to investigate the role of data augmentation with varying model and dataset size.

연구 동기 및 목표

• 학습 복잡성과 계산 비용을 증가시키는 별도의 프록시 검색 단계가 필요 없도록 하기 위해, 학습된 데이터 증강에서 프록시 검색 단계를 제거하는 것.
• 작은 프록시에서 학습된 고정 정책의 한계를 극복하기 위해 모델과 데이터셋 크기에 따라 정규화 강도를 자동으로 적응시키는 것.
• 재학습이나 재구성 없이 다양한 작업과 데이터셋에서 효과적으로 작동하는 통합형, 즉시 적용 가능한 증강 전략을 개발하는 것.
• 단일이고 직관적인 하이퍼파라미터를 통해 해석 가능성과 함께 이미지 분류 및 객체 검출에서 일반화 능력과 강건성을 향상시키는 것.
• 모델과 데이터셋 규모에 따라 정규화 강도를 변화시켜 데이터 증강의 영향을 체계적으로 연구할 수 있도록 하는 것.

제안 방법

• RandAugment는 단순하고 고정된 파rameterization을 사용한다: 각 입력 이미지에 대해 N개의 가능한 증강 중 K개를 무작위로 선택하여 적용하며, K는 조정 가능한 하이퍼파라미터이다.
• 증강 연산은 사전 정의된 검색 공간에서 균일하게 무작위로 선택되며, 강화 학습이나 신경망 아키텍처 검색이 필요 없어진다.
• 정책은 표준 학습 루프를 사용하여 타겟 모델과 데이터셋에서 직접 학습되며, 프록시 태스크나 별도의 검색 단계가 필요 없다.
• 정규화 강도는 하이퍼파라미터 K로 제어되며, 이는 이미지당 적용되는 증강 수를 결정하고 모델 또는 데이터셋 크기에 따라 조정될 수 있다.
• 랜덤 증강 선택의 불변성을 활용하여 다양한 학습 환경에서 일관된 성능을 달성한다.
• 모든 연산이 동일한 확률로 적용되는 미분 가능 검색 공간을 사용하여 기울기 기반 최적화를 피할 수 있다.

실험 결과

연구 질문

• RQ1 타겟 모델과 데이터셋에서 별도의 검색 단계 없이 데이터 증강 정책을 효과적으로 학습시킬 수 있는가?
• RQ2 복잡한 검색이 필요한 학습된 정책과 비교해 복잡한 검색 없이도 무작위 선택된 증강이 최신 기준 성능을 달성할 수 있는가?
• RQ3 데이터 증강의 정규화 강도는 모델과 데이터셋 크기에 따라 어떻게 스케일링되며, 이를 동적으로 조정할 수 있는가?
• RQ4 단일이고 해석 가능한 하이퍼파라미터(K)가 다양한 작업과 데이터셋에서 증강 강도를 효과적으로 제어할 수 있는가?
• RQ5 검색이 없는 무작위 증강 전략은 AutoAugment와 같은 강화 학습 기반 방법보다 성능이 뛰어나거나 동등한가?

주요 결과

• RandAugment는 ImageNet에서 85.0%의 top-1 정확도를 달성하여 이전 최신 기준 성능보다 0.6% 향상되었고, 표준 기반 증강보다 1.0% 향상되었다.
• CIFAR-10, CIFAR-100 및 SVHN에서 RandAugment는 이전의 모든 학습된 증강 방법의 성능을 맞추거나 초월한다.
• COCO에서의 객체 검출에서는 기반 증강보다 mAP가 1.0–1.3% 향상되었으며, AutoAugment와 0.3% 이내의 성능을 기록한다.
• 이 방법은 별도의 검색 단계가 필요 없어져 학습 복잡성이 감소하고 타겟 모델과 데이터셋에서 직접 학습이 가능해진다.
• 하이퍼파라미터 K는 정규화 강도를 해석 가능한 방식으로 제어할 수 있으며, 모델과 데이터셋 크기에 따라 증강 효과를 체계적으로 연구할 수 있다.
• RandAugment는 다양한 작업과 데이터셋에서 즉시 효과적으로 작동하며, 다른 설정에 대해 재구성이나 재학습이 필요 없다.