[논문 리뷰] Improving Auto-Augment via Augmentation-Wise Weight Sharing

Keyu Tian, Lin Chen외 4명|arXiv (Cornell University)|2020. 01. 01.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 자동 증강 검색을 위한 빠르고 정확한 프록시 평가 방법인 증강별 가중치 공유(AWS)를 제안한다. 이 방법은 훈련 중에 다양한 증강 기법 간에 모델 가중치를 공유함으로써 계산 비용을 절감한다. 증강 훈련의 동역학을 활용함으로써 AWS는 효율적이면서도 신뢰할 수 있는 정책 검색을 가능하게 하며, 최신 기술 수준의 성능을 달성한다: ResNet-50을 사용할 때 CIFAR-10에서 1.24%의 상위-1 오차, ImageNet에서 20.36%의 오차를 기록하여 기준 모델 대비 3.34%의 절대적 향상률을 확보한다.

ABSTRACT

The recent progress on automatically searching augmentation policies has boosted the performance substantially for various tasks. A key component of automatic augmentation search is the evaluation process for a particular augmentation policy, which is utilized to return reward and usually runs thousands of times. A plain evaluation process, which includes full model training and validation, would be time-consuming. To achieve efficiency, many choose to sacrifice evaluation reliability for speed. In this paper, we dive into the dynamics of augmented training of the model. This inspires us to design a powerful and efficient proxy task based on the Augmentation-Wise Weight Sharing (AWS) to form a fast yet accurate evaluation process in an elegant way. Comprehensive analysis verifies the superiority of this approach in terms of effectiveness and efficiency. The augmentation policies found by our method achieve superior accuracies compared with existing auto-augmentation search methods. On CIFAR-10, we achieve a top-1 error rate of 1.24%, which is currently the best performing single model without extra training data. On ImageNet, we get a top-1 error rate of 20.36% for ResNet-50, which leads to 3.34% absolute error rate reduction over the baseline augmentation.

연구 동기 및 목표

• 각 정책에 대해 전체 모델 훈련이 필요로 하는 표준 평가 프로세스의 비효율성과 신뢰성 부족 문제를 해결하기 위해.
• 평가 정확도를 희생시키지 않은 채 증강 정책 평가 속도를 향상시키기 위해.
• 다양한 증강 기법 하에서의 모델 동역학을 반영하는 프록시 평가 방법을 개발하기 위해.
• 단일 모델을 사용하여 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 훈련 중에 다양한 증강 기법 간에 모델 가중치를 공유함으로써 계산 비용을 절감하는 증강별 가중치 공유(AWS)를 도입한다.
• AWS 기반 프록시 작업을 활용해 증강 정책을 효율적으로 평가함으로써 각 후보 정책에 대해 다시 훈련할 필요 없이 평가를 수행한다.
• 다양한 증강 기법 하에서의 모델 동역학 행동을 활용하여 신뢰할 수 있고도 신속한 평가 신호를 생성한다.
• 강화 학습 또는 검색 프레임워크 내에서 AWS 기반 프록시 평가를 적용하여 최적의 증강 정책을 식별한다.
• 다양한 증강 기법 간에 가중치를 공유하는 단일 모델을 훈련함으로써 여러 증강 전략을 동시에 평가할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 증강 검색을 가속화하면서도 높은 평가 신뢰성을 유지할 수 있는 프록시 평가 방법을 설계할 수 있는가?
• RQ2 증강 간 가중치 공유가 정책 검색에서 평가 신호의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 AWS 기반 방법이 기존 자동 증강 접근 방식에 비해 속도와 정확성 측면에서 모두 뛰어나게 성능을 발휘하는가?
• RQ4 AWS는 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 모델의 일반화 능력과 성능 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 제안된 AWS 기반 방법은 CIFAR-10에서 상위-1 오차율 1.24%를 기록하여, 추가 훈련 데이터 없이도 현재까지의 최신 기술 수준이다.
• ResNet-50을 사용한 ImageNet에서는 상위-1 오차율을 20.36%로 낮춰 기준 증강 방법 대비 3.34%의 절대적 향상률을 확보했다.
• AWS를 사용한 평가 과정은 전체 훈련 기반 평가보다 상당히 빠르며, 수천 개의 정책에 대한 효율적 검색을 가능하게 한다.
• 포괄적인 분석을 통해 AWS는 계산 비용을 극적으로 줄이면서도 높은 평가 신뢰성을 유지함을 확인했다.