[논문 리뷰] TAPAS: Train-less Accuracy Predictor for Architecture Search

Roxana Istrate, Florian Scheidegger외 4명|arXiv (Cornell University)|2018. 06. 01.

Advanced Neural Network Applications참고 문헌 21인용 수 9

한 줄 요약

TAPAS는 타겟 데이터셋에서의 훈련 없이, 과거 실험에서의 수명 주기 경험과 데이터셋 난이도 특성화를 활용하여, 분할된 데이터셋에서의 컨볼루션 네트워크 아키텍처의 최고 검증 정확도를 수초 내에 예측하는 훈련 불필요한 딥러닝 정확도 예측기이다. 단일 GPU에서 10분 이내에 대규모 아키텍처 탐색을 가능하게 하며, CIFAR-10에서 93.67%의 정확도와 CIFAR-100에서 81.01%의 정확도를 기록한 모델을 발견한다. 이는 탐색 과정에서의 훈련 없이도 최신 기술 수준의 성능을 달성하거나 초월한다.

ABSTRACT

In recent years an increasing number of researchers and practitioners have been suggesting algorithms for large-scale neural network architecture search: genetic algorithms, reinforcement learning, learning curve extrapolation, and accuracy predictors. None of them, however, demonstrated high-performance without training new experiments in the presence of unseen datasets. We propose a new deep neural network accuracy predictor, that estimates in fractions of a second classification performance for unseen input datasets, without training. In contrast to previously proposed approaches, our prediction is not only calibrated on the topological network information, but also on the characterization of the dataset-difficulty which allows us to re-tune the prediction without any training. Our predictor achieves a performance which exceeds 100 networks per second on a single GPU, thus creating the opportunity to perform large-scale architecture search within a few minutes. We present results of two searches performed in 400 seconds on a single GPU. Our best discovered networks reach 93.67% accuracy for CIFAR-10 and 81.01% for CIFAR-100, verified by training. These networks are performance competitive with other automatically discovered state-of-the-art networks however we only needed a small fraction of the time to solution and computational resources.

연구 동기 및 목표

• 훈련 기반 신경망 아키텍처 탐색(NAS) 방법이 수천 번의 훈련 실행을 요구하는 높은 계산 비용 문제를 해결하기 위해.
• 재훈련이나 미세조정 없이도 새로운 데이터셋에 일반화 가능한 정확도 예측기를 개발하기 위해.
• 탐색 과정에서 훈련이 필요 없도록 하여 최소한의 계산 오버헤드로 대규모 아키텍처 탐색을 가능하게 하기 위해.
• 이전 실험의 수명 주기 경험과 데이터셋 난이도 특성화를 통합함으로써 예측 정확도를 향상시키기 위해.

제안 방법

• TAPAS는 타겟 데이터셋에서의 훈련 없이도, 아키텍처의 구조와 입력 데이터셋의 난이도를 기반으로 컨볼루션 네트워크의 최고 정확도를 예측하기 위해 딥 네트워크를 사용한다.
• 데이터셋 난이도 특성화(DDC) 모듈을 도입하여 통계적 및 구조적 특징을 사용해 데이터셋의 복잡도를 정량화함으로써, 새로운 데이터셋으로의 일반화를 가능하게 한다.
• 수명 주기 데이터셋 임베딩(LDE) 사전 필터링 메커니즘을 활용하여 유사한 난이도를 가진 이전 실험을 기반으로 관련된 실험을 선별함으로써 예측 신뢰도를 향상시킨다.
• 새로운 데이터셋에 대해 DDC 점수와 이전 실험 데이터만을 사용하여 예측을 동적으로 재조정할 수 있는 새로운 훈련 불필요 적응 메커니즘을 도입한다.
• 다양한 데이터셋을 포함한 수명 주기 실험 데이터베이스를 기반으로 모델을 훈련함으로써, 새로운 데이터에 대한 재훈련 없이도 전이 학습과 지속적인 향상을 가능하게 한다.
• TAPAS는 진화 탐색 파이프라인과 통합되어, 비용이 많이 드는 훈련 평가를 빠르고 정확한 예측으로 대체함으로써 대규모 아키텍처 탐색을 시뮬레이션할 수 있다.

실험 결과

연구 질문

• RQ1 딥러닝 정확도 예측기가 타겟 데이터셋에서의 훈련 없이도 새로운 데이터셋으로 일반화할 수 있는가?
• RQ2 데이터셋 난이도 특성화를 통합할 경우, 다양한 데이터셋 간의 예측 정확도는 어떻게 향상되는가?
• RQ3 훈련이 필요한 기존 방법에 비해, 훈련 불필요 예측기가 각 네트워크에 대해 부분적 또는 전반적인 훈련이 필요한 경우에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ4 TAPAS는 계산 비용과 시간을 수십만 배 이상 줄임으로써 대규모 아키텍처 탐색을 가능하게 할 수 있는가?

주요 결과

• TAPAS는 최고로 발견된 네트워크로 CIFAR-10에서 93.67%의 정확도와 CIFAR-100에서 81.01%의 정확도를 기록하였으며, 이는 완전한 훈련을 통한 검증을 통해 확인되었다.
• TAPAS는 단일 GPU에서 400초 내에 대규모 아키텍처 탐색을 수행하여 최신 기술 수준의 NAS 방법과 경쟁 가능한 성능을 달성하였다.
• TAPAS는 Peephole, LCE, BNN, ν-SVR와 같은 기존 방법보다도 본래의 데이터셋과 새로운 데이터셋 모두에서 성능이 뛰어나며, 특히 일반화가 요구되는 경우에 두드러진 성능 향상을 보였다.
• 데이터셋 난이도 특성화와 LDE 사전 필터링의 통합은 완전히 새로운 데이터셋에 적용된 경우에도 예측 정확도를 크게 향상시켰다.
• TAPAS를 사용한 시뮬레이션 진화에서 20,000회의 변형을 수행한 결과, 데이터셋당 2×10¹¹ FLOPs만 소요되었고, 기준 논문 [16]의 9×10¹⁹ FLOPs에 비해 런타임을 256시간에서 10분 이내로 줄였다.
• TAPAS는 단일 GPU에서 1초당 100개 이상의 예측을 가능하게 하여, 훈련 없이도 실시간으로 대규모 아키텍처 탐색을 구현할 수 있게 하였다.