[논문 리뷰] Learning data augmentation policies using augmented random search

Mingyang Geng, Kele Xu외 3명|arXiv (Cornell University)|2018. 11. 12.

Advanced Neural Network Applications참고 문헌 13인용 수 12

한 줄 요약

이 논문은 데이터 증강 정책의 이산적 탐색 공간을 연속적 공간으로 대체하는 ARS-Aug라는 방법을 제안한다. 이는 증강된 무작위 탐색(ARS)을 사용하여 더 효율적이고 정밀한 정책 탐색을 가능하게 한다. 이 방법은 추가 데이터 없이도 CIFAR-10(1.26% 오차율), CIFAR-100(10.24% 오차율), ImageNet(Top-1 정확도 83.88%)에서 최신 기준 성능을 달성한다.

ABSTRACT

Previous attempts for data augmentation are designed manually, and the augmentation policies are dataset-specific. Recently, an automatic data augmentation approach, named AutoAugment, is proposed using reinforcement learning. AutoAugment searches for the augmentation polices in the discrete search space, which may lead to a sub-optimal solution. In this paper, we employ the Augmented Random Search method (ARS) to improve the performance of AutoAugment. Our key contribution is to change the discrete search space to continuous space, which will improve the searching performance and maintain the diversities between sub-policies. With the proposed method, state-of-the-art accuracies are achieved on CIFAR-10, CIFAR-100, and ImageNet (without additional data). Our code is available at https://github.com/gmy2013/ARS-Aug.

연구 동기 및 목표

• 이산적 탐색 공간을 사용하는 AutoAugment의 부적절한 성능을 개선하기 위해.
• 이산적 탐색 공간을 연속적 공간으로 재구성함으로써 탐색 효율성과 정책 다양성을 향상시키기 위해.
• 증강된 무작위 탐색(ARS)의 높은 샘플 효율성을 활용하여 정책 공간을 더 효과적으로 탐색하기 위해.
• 자동으로 학습된 증강 정책을 사용하여 이미지 분류 벤치마크에서 최신 기준 성능을 달성하기 위해.
• 연속 최적화가 이산적 탐색보다 더 높은 성능을 내고 더 다양한 데이터 증강 정책을 도출할 수 있음을 보여주기 위해.

제안 방법

• 작업, 확률, 강도를 연속 공간에서 매개변수화하여 데이터 증강 정책 탐색 문제를 연속 최적화 과제로 재구성하기.
• 원시 ARS 출력을 정규화하기 위해 시그모이드 함수를 적용하여 유효한 정책 매개변수(예: 0에서 1 사이의 확률)를 보장하기.
• ARS를 사용해 현재 정책 매개변수 주변의 변형을 샘플링하고, 자식 모델을 훈련시켜 성능을 평가한 후, 최상의 방향으로 정책을 업데이트하기.
• 다양성과 일반화를 향상시키기 위해 샘플된 작업-확률-강도 삼중항을 연결하여 각 전체 정책당 25개의 서브-정책 생성하기.
• 연속적 탐색 공간에서 생성된 정책을 사용해 자식 모델을 훈련하고 검증하며, 검증 정확도를 기반으로 보상을 부여하기.
• 자신의 정책 구조(서브-정책당 두 개의 작업)를 AutoAugment와 유지하면서도, 강도 값에 두 자리 소수까지 사용하여 정밀도를 향상시키기.

실험 결과

연구 질문

• RQ1 AutoAugment의 이산적 탐색 공간을 연속적 공간으로 대체하면 더 뛰어난 성능을 내는 데이터 증강 정책를 도출할 수 있는가?
• RQ2 증강된 무작위 탐색(ARS)의 높은 샘플 효율성이 이산적 탐색보다 정책 공간을 더 효과적으로 탐색할 수 있는가?
• RQ3 연속 최적화가 이산적 샘플링보다 더 다양하고 효과적인 서브-정책을 도출할 수 있는가? 이는 모델의 일반화를 향상시키는가?
• RQ4 ARS-Aug는 추가 데이터 없이도 CIFAR-10, CIFAR-100 및 ImageNet과 같은 표준 비전 벤치마크에서 최신 기준 성능을 달성하는가?
• RQ5 연속적 탐색에서 강도 값의 정밀도(소수 두 자리 vs. 소수 한 자리)가 정책 성능에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 ARS-Aug는 테스트 오차율 1.26%를 달성하여 AutoAugment의 1.48%보다 0.22% 낮게 기록했다.
• CIFAR-100에서 ARS-Aug는 오차율을 10.24%로 낮추어 AutoAugment의 10.67%를 뛰어넘었다.
• ImageNet에서 ARS-Aug는 Top-1 정확도 83.88%를 달성했으며, AmoebaNet-C의 경우 Top-1 오차율 16.12%, ResNet-200의 경우 19.76%를 기록하여 AutoAugment를 능가했다.
• 이 방법은 색상 기반 및 회전 변환을 강조하는 정책를 발견했으며, 미니배치 간 서브-정책 적용에 높은 다양성을 보였다.
• 연속적 탐색 공간은 더 정밀한 강도 제어(소수 두 자리)와 더 높은 정책 다양성을 가능하게 하여 일반화 성능 향상에 기여했다.
• ARS-Aug는 높은 계산 효율성을 유지하여 다양한 무작위 시드와 하이퍼파라미터에 대한 광범위한 탐색을 가능하게 했다.