[논문 리뷰] Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules

Daniel E. Ho, Eric Liang외 3명|arXiv (Cornell University)|2019. 05. 14.

Advanced Neural Network Applications참고 문헌 47인용 수 176

한 줄 요약

이 논문은 Population-Based Augmentation (PBA)를 소개한다. PBA는 Population Based Training을 통해 비정상적 증강 스케줄을 학습하여 AutoAugment의 성능을 훨씬 적은 계산으로 맞춘다. PBA는 CIFAR-10/100 및 SVHN에서 약 1000x의 GPU 시간 감소로 경쟁력 있는 결과를 달성한다.

ABSTRACT

A key challenge in leveraging data augmentation for neural network training is choosing an effective augmentation policy from a large search space of candidate operations. Properly chosen augmentation policies can lead to significant generalization improvements; however, state-of-the-art approaches such as AutoAugment are computationally infeasible to run for the ordinary user. In this paper, we introduce a new data augmentation algorithm, Population Based Augmentation (PBA), which generates nonstationary augmentation policy schedules instead of a fixed augmentation policy. We show that PBA can match the performance of AutoAugment on CIFAR-10, CIFAR-100, and SVHN, with three orders of magnitude less overall compute. On CIFAR-10 we achieve a mean test error of 1.46%, which is a slight improvement upon the current state-of-the-art. The code for PBA is open source and is available at https://github.com/arcelien/pba.

연구 동기 및 목표

• 데이터 증강을 규제자(regularizer)로서 동기 부여하고, 큰 탐색 공간에서 효과적인 증강 정책을 선택하는 문제가 도전임을 확인한다.
• 일반화 성능을 개선하기 위한 경량의 스케줄 기반 증강 탐색 방법을 제안한다.
• 이전 AutoAugment 방식에 비해 계산 비용을 줄이면서 정확도를 유지하거나 향상시키려 한다.
• PBA의 효과를 CIFAR-10, CIFAR-100 및 SVHN에서 시연하고 재현성을 위한 오픈 소스 코드를 제공한다.

제안 방법

• 증강 정책 탐색을 하이퍼파라미터 스케줄 학습 문제로 형식화한다.
• Population Based Training (PBT)을 사용하여 증강 파라미터와 모델 학습을 공동으로 최적화하고 시간에 따라 변하는 증강 스케줄 f(x,t)를 얻는다.
• 15개의 연산으로 구성된 증강 정책 템플릿을 채택하고 각 연산은 확률과 크기의 두 하이퍼파라미터 및 각 연산의 두 복사를 가진다.
• 배치당 적용 연산의 시퀀스-오브-오퍼레이션(0–2)의 한계를 정의하고 구조화된 탐색 함수로 하이퍼파라미터를 섭동한다.
• 스케줄링의 가치를 stationary 증강과 비교하기 위해 고정 정책(AutoAugment 스타일) 및 무작위 baselines와 비교한다.

실험 결과

연구 질문

• RQ1 비정상적 증강 스케줄을 학습하는 것이 고정된 증강 정책보다 일반화를 더 잘 이끌어내는가?
• RQ2 PBA의 성능과 효율성이 CIFAR-10, CIFAR-100 및 SVHN 전반에 걸쳐 AutoAugment 및 무작위 baselines에 비해 어떤가?
• RQ3 증강 스케줄이 계산 비용과 확장성에 미치는 영향은 무엇인가?
• RQ4 검색 절차 및 스케줄 길이에 대한 하이퍼파라미터에 PBA는 얼마나 민감한가?

주요 결과

• PBA는 CIFAR-10, CIFAR-100, 및 SVHN에서 AutoAugment 성능과 비슷한 성능을 약 1000x의 GPU 계산으로 달성한다.
• CIFAR-10에서 PBA는 평균 테스트 오류 1.46%를 달성하여 당시의 최첨단보다 약간 개선되는 성능을 보인다.
• PBA는 증강 스케줄 학습에 필요한 GPU 시간이 Titan XP에서 약 5시간에 불과하며 AutoAugment의 수천 GPU 시간에 비해 현저히 적다.
• 스케줄 학습은 고정 정책이나 정적 분포보다 현저히 뛰어나며, 여러 모델에서 고정 정책은 정확도를 약 10% 감소시킨다.
• PBA는 데이터세트와 모델 계열 전반에서 강인성을 보여주며 학습된 스케줄을 사용해 CIFAR-10/100 및 SVHN에서 경쟁력 있는 결과를 보인다.