[논문 리뷰] BRP-NAS: Prediction-based NAS using GCNs

Łukasz Dudziak, Thomas Chau외 4명|arXiv (Cornell University)|2020. 07. 16.

Advanced Memory and Neural Computing인용 수 82

한 줄 요약

BRP-NAS는 하드웨어 인식 신경망 아키텍처 탐색(NAS)을 위한 그래프 컬러지언 네트워크(GCN)-기반 지연 시간 예측기인 BRP-NAS를 제안한다. 이는 이분 관계 학습과 반복적 데이터 선택을 통해 샘플 효율성을 향상시킨다. BRP-NAS는 NAS-Bench-101과 NAS-Bench-201에서 이전 방법들을 능가하며, 다양한 기기에서 대규모 지연 시간 벤치마크인 LatBench를 도입한다.

ABSTRACT

Neural architecture search (NAS) enables researchers to automatically explore broad design spaces in order to improve efficiency of neural networks. This efficiency is especially important in the case of on-device deployment, where improvements in accuracy should be balanced out with computational demands of a model. In practice, performance metrics of model are computationally expensive to obtain. Previous work uses a proxy (e.g., number of operations) or a layer-wise measurement of neural network layers to estimate end-to-end hardware performance but the imprecise prediction diminishes the quality of NAS. To address this problem, we propose BRP-NAS, an efficient hardware-aware NAS enabled by an accurate performance predictor-based on graph convolutional network (GCN). What is more, we investigate prediction quality on different metrics and show that sample efficiency of the predictor-based NAS can be improved by considering binary relations of models and an iterative data selection strategy. We show that our proposed method outperforms all prior methods on NAS-Bench-101 and NAS-Bench-201, and that our predictor can consistently learn to extract useful features from the DARTS search space, improving upon the second-order baseline. Finally, to raise awareness of the fact that accurate latency estimation is not a trivial task, we release LatBench -- a latency dataset of NAS-Bench-201 models running on a broad range of devices.

연구 동기 및 목표

• 기존의 지연 시간 예측기의 낮은 정확도 문제, 특히 프록시 및 레이어 단위 예측 방법의 문제를 해결한다.
• 최적의 아키텍처를 찾기 위해 훈련이 필요한 모델 수를 줄여 NAS의 샘플 효율성을 향상시킨다.
• 다양한 하드웨어 플랫폼에 일반화 가능한 더 신뢰할 수 있는 종단 간 지연 시간 예측기 개발.
• FLOPS나 모델 크기를 프록시로 사용하지 않고도 정확한 성능 예측을 가능하게 한다.
• 다양한 기기에서의 실측 데이터를 기반으로 한 대규모 지연 시간 측정 데이터셋인 LatBench를 공개하여 NAS 연구의 재현 가능성을 향상시킨다.

제안 방법

• 신경망 아키텍처를 구조적 의존성을 캡처하는 방향 그래프로 표현하기 위해 그래프 컬러지언 네트워크(GCN)를 사용한다.
• 절대 정확도 예측을 이분 관계 예측기로 대체하여 정확한 정확도를 추정하지 않고도 두 아키텍처를 순위 매기는 방식을 사용한다.
• 상위 성능을 보이는 모델을 우선적으로 훈련 데이터로 선택하는 반복적 데이터 선택 전략을 구현하여 상위-K 순위 상관관계를 향상시킨다.
• 다양한 검색 공간 간 성능 향상을 위해 전이 학습을 활용한다.
• 탐색과 이용의 균형을 이루기 위해 상위-K 순위 모델과 무작위로 샘플된 모델의 조합을 기반으로 GCN 기반 예측기를 훈련한다.
• 다양한 하드웨어 플랫폼에서 모델 성능 측정 및 예측을 위한 도구인 Eagle과 실제 기기 측정 데이터에서 유래한 지연 시간 데이터셋인 LatBench를 공개한다.

실험 결과

연구 질문

• RQ1 GCN 기반 종단 간 지연 시간 예측기는 프록시 메트릭스나 레이어 단위 추정기보다 NAS에서 더 우수한 성능을 보일 수 있는가?
• RQ2 정확도 예측을 위한 이분 관계 학습은 절대 정확도 회귀 대비 샘플 효율성을 향상시키는가?
• RQ3 상위 성능 모델에 초점을 맞춘 반복적 데이터 선택 전략이 예측기 일반화 및 NAS 성능 향상에 기여하는가?
• RQ4 다양한 하드웨어 플랫폼 간 지연 시간 추정치는 어느 정도로 다를 수 있으며, 단일 예측기는 충분한가?
• RQ5 대규모 실기기 기반 지연 시간 벤치마크는 NAS 연구의 신뢰성 및 재현 가능성 향상에 기여하는가?

주요 결과

• GCN 기반 지연 시간 예측기는 데스크톱 CPU, GPU, 임베디드 GPU, TPU, 모바일 DSP를 포함한 모든 테스트 기기에서 프록시 및 레이어 단위 방법보다 유의미하게 뛰어난 성능을 보였다.
• BRP-NAS는 NAS-Bench-101에서 단지 140개의 훈련 모델만으로 CIFAR-10에서 94.22%의 테스트 정확도를 달성하여 이전의 예측기 기반 NAS 방법을 능가했다.
• 이분 관계 예측기는 예측된 정확도와 실제 정확도 간 상위-K 순위 상관관계를 향상시켜 NAS에서 샘플 효율성을 높였다.
• 공개된 지연 시간 벤치마크인 LatBench는 기기 간 FLOPS/파라미터 수와 실제 지연 시간 간 상관관계가 낮음(r < 0.8)을 보여, 기기별 예측기가 필요함을 입증했다.
• 예측기는 다양한 하드웨어에서 잘 일반화되며, 기기 간 지연 시간 상관관계는 TPU 대 모바일 GPU의 경우 0.548에서 CPU 대 GPU의 경우 0.997까지 다양하게 나타나 기기별로 상당한 차이가 있음을 보였다.
• 반복적 데이터 선택과 이분 관계 학습은 훈련 런 수를 줄였으며, DARTS 검색 공간에서 BRP-NAS는 첫 번째 반복 이후 랜덤 서치를 초월해 점차 성능 향상을 보였다.