[논문 리뷰] Fast AutoAugment.

Sungbin Lim, Ildoo Kim외 3명|arXiv (Cornell University)|2019. 05. 01.

Advanced Neural Network Applications참고 문헌 25인용 수 95

한 줄 요약

Fast AutoAugment는 AutoAugment에 비해 수천 배 빠른 속도로 효과적인 데이터 증강 정책을 탐색할 수 있도록 밀도 매칭 기반의 검색 전략을 제안한다. 이로 인해 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 유사한 성능를 달성하면서도 GPU 시간을 크게 줄였다.

ABSTRACT

Data augmentation is an essential technique for improving generalization ability of deep learning models. Recently, AutoAugment has been proposed as an algorithm to automatically search for augmentation policies from a dataset and has significantly enhanced performances on many image recognition tasks. However, its search method requires thousands of GPU hours even for a relatively small dataset. In this paper, we propose an algorithm called Fast AutoAugment that finds effective augmentation policies via a more efficient search strategy based on density matching. In comparison to AutoAugment, the proposed algorithm speeds up the search time by orders of magnitude while achieves comparable performances on image recognition tasks with various models and datasets including CIFAR-10, CIFAR-100, SVHN, and ImageNet.

연구 동기 및 목표

• AutoAugment의 검색 과정에서 발생하는 높은 계산 비용(수천 시간의 GPU 사용)을 해결하기 위해.
• 높은 모델 성능를 유지하면서도 더 효율적인 데이터 증강 정책 검색 전략을 개발하기 위해.
• 다양한 이미지 인식 데이터셋에서 효과적인 증강 정책을 신속하고 확장 가능하게 탐색할 수 있도록 하기 위해.
• 정확도를 희생시키지 않고 자동 데이터 증강을 위한 시간과 자원 요구량을 줄이기 위해.

제안 방법

• 이 방법은 증강된 데이터의 분포를 목표 데이터 분포와 일치시키기 위해 밀도 매칭을 활용한다.
• 증강된 데이터의 분포와 원본 훈련 데이터의 분포 간 격리 정도를 최소화하는 최적화 문제로 검색 과정을 수식화한다.
• 기울기 기반 최적화를 통해 증강 연산과 하이퍼파ram터를 효율적으로 탐색할 수 있도록 기울기 가능(다양한) 검색 공간을 사용한다.
• 전체 훈련 사이클이 필요로 하는 것을 줄이기 위해 프록시 검증 세트를 사용해 정책 성능를 평가한다.
• 작은 데이터 서브셋과 경량 모델을 사용해 기대 정확도를 근사함으로써 검색 과정을 가속화한다.
• 최종 정책는 검증 세트에서의 성능 기반으로 선택되어, 후속 작업에 대한 일반화 능력을 보장한다.

실험 결과

연구 질문

• RQ1 더 효율적인 검색 전략은 AutoAugment의 계산 비용을 줄이면서도 성능를 유지하거나 향상시킬 수 있는가?
• RQ2 밀도 매칭은 정확도와 검색 효율성 측면에서 강화 학습에 비해 어떻게 비교되는가?
• RQ3 모델 일반화 능력이 이미지 인식 벤치마크에서 떨어지지 않도록 하면서 검색 시간을 얼마나 줄일 수 있는가?
• RQ4 CIFAR-10, CIFAR-100, SVHN, ImageNet과 같은 다양한 데이터셋에서 제안된 방법은 얼마나 잘 스케일링되는가?

주요 결과

• Fast AutoAugment는 모든 평가된 데이터셋에서 AutoAugment 대비 검색 시간을 수천 배 이상 단축시켰다.
• CIFAR-10, CIFAR-100, SVHN, ImageNet에서 AutoAugment와 유사한 성능를 달성했으며, 정확도 저하가 최소한이었다.
• ImageNet과 같은 대규모 데이터셋에서도 검색 과정이 확장 가능하고 효과적이었으며, 계산 비용을 줄이면서도 높은 정확도를 유지했다.
• 밀도 매칭의 사용은 정책 검색 중 빠른 수렴과 더 안정적인 최적화를 가능하게 했다.