[논문 리뷰] UniformAugment: A Search-free Probabilistic Data Augmentation Approach

Tom Ching LingChen, Ava Khonsari외 4명|arXiv (Cornell University)|2020. 03. 31.

Advanced Neural Network Applications참고 문헌 20인용 수 39

한 줄 요약

UniformAugment는 연속적이고 거의 불변 공간에서 증강 매개변수를 균일하게 샘플링하여 완전히 탐색 없이 데이터 증강 방법을 제시하고, 정책 탐색 없이도 기존의 탐색 기반 증강 방법들과 경쟁적인 결과를 달성합니다.

ABSTRACT

Augmenting training datasets has been shown to improve the learning effectiveness for several computer vision tasks. A good augmentation produces an augmented dataset that adds variability while retaining the statistical properties of the original dataset. Some techniques, such as AutoAugment and Fast AutoAugment, have introduced a search phase to find a set of suitable augmentation policies for a given model and dataset. This comes at the cost of great computational overhead, adding up to several thousand GPU hours. More recently RandAugment was proposed to substantially speedup the search phase by approximating the search space by a couple of hyperparameters, but still incurring non-negligible cost for tuning those. In this paper we show that, under the assumption that the augmentation space is approximately distribution invariant, a uniform sampling over the continuous space of augmentation transformations is sufficient to train highly effective models. Based on that result we propose UniformAugment, an automated data augmentation approach that completely avoids a search phase. In addition to discussing the theoretical underpinning supporting our approach, we also use the standard datasets, as well as established models for image classification, to show that UniformAugment's effectiveness is comparable to the aforementioned methods, while still being highly efficient by virtue of not requiring any search.

연구 동기 및 목표

• 딥 모델에서 이미지 분류의 핵심 정규화 도구로 데이터 증강의 역할을 강조한다.
• 대략 불변 증강 공간에서 이론 기반의 탐색-없는 증강 전략을 제안한다.
• 연속 증강 매개변수의 균일 샘플링으로 탐색 단계 없이도 경쟁 정확도를 달성할 수 있음을 보인다.
• 일반적인 구조를 가진 CIFAR-10, CIFAR-100, ImageNet에서 UA의 효과를 입증한다.

제안 방법

• 증강을 데이터 분포에 작용하는 근사 불변 변환의 집합으로 형식화한다.
• 정책에 대한 이산적 탐색을 연속 매개변수 공간에서의 균일 샘플링으로 대체한다.
• 입력당 고정된 수의 증강 연산을 적용하되, 각 연산은 미리 정의된 집합에서 균일하게 추출하고 그 확률과 크기는 Uniform(0,1)로 추정한다.
• 샘플링된 증강을 실시간으로 적용하면서 표준 SGD를 사용해 경험적 위험을 최소화한다.
• 표준 벤치마크에서 UA를 AutoAugment, Fast AutoAugment, Population Based Augmentation, RandAugment와 비교한다.

실험 결과

연구 질문

• RQ1 연속적으로 거의 불변인 증강 공간에서의 균일 샘플링이 탐색 단계 없이도 경쟁력 있는 성능을 내는가?
• RQ2 증강 범위(narrow/default/wide)와 증강 연산 수(NumOps)가 UA의 효과에 어떤 영향을 미치는가?
• RQ3 일반적인 구조를 가진 CIFAR-10, CIFAR-100, ImageNet에서 UA의 성능이 탐색 기반 증강 방법과 맞먹거나 능가하는가?

주요 결과

• UA는 CIFAR-10, CIFAR-100, ImageNet에서 탐색 기반 방법과 비슷한 정확도를 달성하되 탐색 시간은 필요하지 않다.
• 실험은 거의 불변의 증강 공간이 연속 매개변수의 균일 샘플링에 의해 효과적으로 탐색될 수 있음을 시사한다.
• 증강 범위를 바꾸면 관련 연구에서 사용된 기본 범위가 적절한 불변 공간을 형성하는 것으로 보이며, 범위가 너무 좁거나 너무 넓으면 성능이 저하될 수 있다.
• NumOps가 약 2일 때 다양성과 일관된 분포 내 증강을 유지하는 균형이 잘 맞고, NumOps가 매우 높아지면 성능이 저하된다.
• ImageNet에서 UA는 기저 대비 오차율을 줄이고 AA, FAA, RA와 비교해 탐색 오버헤드 없이 결과를 매칭하거나 약간 개선한다.