[논문 리뷰] AutoAugment: Learning Augmentation Policies from Data

Ekin D. Cubuk, Barret Zoph외 3명|arXiv (Cornell University)|2018. 05. 24.

Advanced Neural Network Applications참고 문헌 65인용 수 732

한 줄 요약

AutoAugment는 컨트롤러 RNN과 강화학습을 사용하여 효과적인 데이터 증강 정책을 자동으로 검색하고, 여러 데이터셋에서 최첨단 결과와 데이터셋 간 전이 가능한 정책을 달성한다.

ABSTRACT

Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple procedure called AutoAugment to automatically search for improved data augmentation policies. In our implementation, we have designed a search space where a policy consists of many sub-policies, one of which is randomly chosen for each image in each mini-batch. A sub-policy consists of two operations, each operation being an image processing function such as translation, rotation, or shearing, and the probabilities and magnitudes with which the functions are applied. We use a search algorithm to find the best policy such that the neural network yields the highest validation accuracy on a target dataset. Our method achieves state-of-the-art accuracy on CIFAR-10, CIFAR-100, SVHN, and ImageNet (without additional data). On ImageNet, we attain a Top-1 accuracy of 83.5% which is 0.4% better than the previous record of 83.1%. On CIFAR-10, we achieve an error rate of 1.5%, which is 0.6% better than the previous state-of-the-art. Augmentation policies we find are transferable between datasets. The policy learned on ImageNet transfers well to achieve significant improvements on other datasets, such as Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, and Stanford Cars.

연구 동기 및 목표

• 이미지 분류기 일반화를 향상시키기 위한 자동 증강 전략 발견의 필요성 제시.
• 서브-정책들로 이루어진 순차적 이미지 연산을 포함하는 정책의 탐색 공간 개발.
• 검증 정확도를 보상으로 측정하기 위해 컨트롤러(RNN)와 정책-그레이디언트 강화학식을 사용한 최적화.
• 학습된 정책의 직접 적용(AutoAugment-direct)과 교차 데이터셋 전이(AutoAugment-transfer) 증명.

제안 방법

• 정책을 5개의 서브-정책으로 정의하고, 각 서브-정책은 순서대로 두 개의 이미지 연산을 포함한다.
• 각 연산은 적용 확률과 크기 값이 있다.
• 정책 샘플링과 보상으로서 검증 정확도를 측정하기 위한 자식 모델을 학습하기 위해 컨트롤러 RNN을 사용한다.
• 보상에서 얻은 정책 그래디언트를 사용해 Proximal Policy Optimization (PPO)으로 컨트롤러를 최적화한다.
• 최고의 5개 정책을 연결하여 최종 25-서브-정책 정책으로 학습 데이터셋에 대해 학습한다.

실험 결과

연구 질문

• RQ1 자동으로 학습된 증강 정책이 수작업으로 설계된 증강을 넘어 이미지 분류기 성능을 향상시킬 수 있는가?
• RQ2 한 데이터셋에서 발견된 정책이 다른 데이터셋과 아키텍처로 전이될 수 있는가?
• RQ3 정책의 다양성과 확률적 적용이 일반화에 어떤 영향을 미치는가?
• RQ4 AutoAugment가 정확도 및 전이성 면에서 이전의 자동 증강 방법과 비교해 어떤 차이가 있는가?

주요 결과

Dataset	GPU hours (est.)	Best published results	Our results
CIFAR-10	5000	2.1	1.5
CIFAR-100	0	12.2	10.7
SVHN	1000	1.3	1.0
Stanford Cars	0	5.9	5.2
ImageNet	15000	3.9	3.5

• AutoAugment는 CIFAR-10(1.5%), CIFAR-100(10.7%), 및 SVHN(1.0%)에서 최신 오차율을 달성하고 ImageNet에서 Top-1 정확도 83.5%를 달성했다.
• ImageNet에서 학습된 정책이 FGVC 데이터셋으로도 전이되어 추가 데이터 없이도 일반화를 향상시킨다.
• CIFAR-10에서 AutoAugment는 여러 아키텍처에서 기존 방법들에 비해 상당한 이점을 보인다.
• 전이된 ImageNet 정책은 Stanford Cars와 FGVC Aircraft를 각각 1.2% 및 1.8% 향상시킨다.
• 축소된 CIFAR-10에서 직접 발견된 정책도 전체 CIFAR-10/100 및 SVHN 결과를 개선하며 스케일에 따른 강건성을 보여준다.