[논문 리뷰] STEERAGE: Synthesis of Neural Networks Using Architecture Search and Grow-and-Prune Methods

Shayan Hassantabar, Xiaoliang Dai외 1명|arXiv (Cornell University)|2019. 12. 12.

Advanced Neural Network Applications참고 문헌 50인용 수 20

한 줄 요약

STEERAGE는 효율적인 아키텍처 탐색과 성장-자르기 최적화를 조합한 이단계 신경망 합성 프레임워크를 제안한다. 이는 정확도가 높고 컴팩트한 모델을 생성한다. 정확도 예측기로 부스팅된 결정 트리 기반 모델을 사용해 탐색 속도를 높이고, 성능 향상과 중복 감소를 위해 정교한 성장 및 자르기 전략을 적용하여, 40층의 ResNet 변형에서 0.41M 파라미터로 CIFAR-10에서 최신 기술 수준(SOTA)의 정확도를 달성했다. 오차율은 3.86%였다.

ABSTRACT

Neural networks (NNs) have been successfully deployed in many applications. However, architectural design of these models is still a challenging problem. Moreover, neural networks are known to have a lot of redundancy. This increases the computational cost of inference and poses an obstacle to deployment on Internet-of-Thing sensors and edge devices. To address these challenges, we propose the STEERAGE synthesis methodology. It consists of two complementary approaches: efficient architecture search, and grow-and-prune NN synthesis. The first step, covered in a global search module, uses an accuracy predictor to efficiently navigate the architectural search space. The predictor is built using boosted decision tree regression, iterative sampling, and efficient evolutionary search. The second step involves local search. By using various grow-and-prune methodologies for synthesizing convolutional and feed-forward NNs, it reduces the network redundancy, while boosting its performance. We have evaluated STEERAGE performance on various datasets, including MNIST and CIFAR-10. On MNIST dataset, our CNN architecture achieves an error rate of 0.66%, with 8.6x fewer parameters compared to the LeNet-5 baseline. For the CIFAR-10 dataset, we used the ResNet architectures as the baseline. Our STEERAGE-synthesized ResNet-18 has a 2.52% accuracy improvement over the original ResNet-18, 1.74% over ResNet-101, and 0.16% over ResNet-1001, while having comparable number of parameters and FLOPs to the original ResNet-18. This shows that instead of just increasing the number of layers to increase accuracy, an alternative is to use a better NN architecture with fewer layers. In addition, STEERAGE achieves an error rate of just 3.86% with a variant of ResNet architecture with 40 layers. To the best of our knowledge, this is the highest accuracy obtained by ResNet-based architectures on the CIFAR-10 dataset.

연구 동기 및 목표

• 딥 러닝에서 기하급수적으로 증가하는 큰 신경망 아키텍처 탐색 공간 문제를 해결한다.
• 신경망 설계에서 시행착오 방식의 하이퍼파rameter 튜닝의 비효율성과 최적화되지 않은 성능 문제를 해결한다.
• 모델의 중복과 계산 비용을 줄여 엣지 디바이스 및 IoT 센서에의 구현을 가능하게 한다.
• 심층적이고 자원을 많이 소비하는 아키텍처에 의존하지 않고도 정확도와 컴팩트함을 동시에 향상시킨다.
• 전방향 및 컨volutional 신경망에 모두 적용 가능한 일반화 가능하고 효율적인 프레임워크를 개발한다.

제안 방법

• 완전한 훈련 없이 아키텍처 성능를 추정하기 위해 정확도 예측기로 부스팅된 결정 트리 회귀 모델을 사용하는 글로벌 탐색 모듈을 활용한다.
• 정확도 예측기의 효율적 훈련을 위해 준 몬테카를로(QMC) 샘플링과 반복적 샘플링을 통합한다.
• 기본 아키텍처에서 고성능 아키텍처 변형을 탐색하고 식별하기 위해 효율적인 진화 탐색(EES) 알고리즘을 적용한다.
• 두 가지 별도의 성장-자르기 방법론을 사용하는 국소 탐색 단계를 도입한다: 전방향 네트워크에 적합한 SCANN과 컨volutional 레이어에 적합한 NeST.
• 전방향 네트워크의 경우, 반복적인 연결 성장, 뉴런 성장 및 연결 자르기를 적용하여 정확도와 컴팩트함을 향상시킨다.
• 컨volutional 레이어의 경우, 특징 맵 성장과 구성 가능한 자르기 비율을 가진 부분 영역 컨볼루션을 사용하여 정확도와 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 부스팅된 결정 트리 기반 정확도 예측기와 반복적 샘플링을 활용하면 신경망 아키텍처 탐색을 상당히 가속화하면서도 높은 성능를 유지할 수 있는가?
• RQ2 성장-자르기 합성 기법이 신경망의 정확도와 모델 컴팩트함을 얼마나 향상시킬 수 있는가?
• RQ3 글로벌+로컬 탐색 전략이 전통적인 NAS 방법에 비해 효율성과 최종 모델 품질 측면에서 뛰어나게 성능을 냈는가?
• RQ4 더 깊고 큰 기준 모델에 비해 얕고 작은 ResNet 변형으로도 CIFAR-10에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ5 차원 축소와 깊이, 너비, 자르기 비율에 대한 하이퍼파rameter 탐색의 통합이 최종 모델의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• STEERAGE가 합성한 ResNet-40은 CIFAR-10에서 테스트 오차율 3.86%를 기록했으며, 이는 1001층의 ResNet-1001(오차율 4.62%)보다도 뛰어난 성능이었다.
• STEERAGE가 합성한 ResNet-18 변형은 오차율 4.46%를 기록했으며, 원본 ResNet-18 대비 2.52% 향상되었고, 훨씬 깊은 ResNet-101 대비 1.74% 향상되었다.
• STEERAGE가 합성한 ResNet-18의 컴팩트한 변형은 원본 ResNet-18보다 2.1배 적은 파라미터를 사용하면서도 오차율 4.78%를 기록했다.
• 정확도 예측기가 아키텍처 평가 속도를 6000배 가속화했으며, 모델당 추론 시간을 약 2 GPU 시간에서 1.2초로 단축시켰다.
• 이 프레임워크는 단지 0.41M 파라미터와 1.30G FLOPs를 가진 40층의 ResNet을 성공적으로 생성하여, CIFAR-10에서 모든 ResNet 기반 아키텍처 중 가장 높은 정확도를 달성했다.
• 글로벌+로컬 탐색 전략은 글로벌 탐색만을 사용한 경우에 비해 일관되게 뛰어난 성능를 보였으며, 이는 국소 정밀 조정이 정확도와 컴팩트함을 모두 향상시킨다는 것을 입증했다.