[논문 리뷰] HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark

Chaojian Li, Zhongzhi Yu외 7명|arXiv (Cornell University)|2021. 03. 19.

Advanced Neural Network Applications참고 문헌 38인용 수 24

한 줄 요약

HW-NAS-Bench는 하드웨어-의식 NAS를 위한 최초의 공개 데이터세트로, NAS-Bench-201와 FBNet의 측정된/추정된 하드웨어 비용 데이터를 여섯 대의 디바이스에 걸쳐 집계하여 접근 가능하고 재현 가능한 HW-NAS 연구를 가능하게 한다.

ABSTRACT

HardWare-aware Neural Architecture Search (HW-NAS) has recently gained tremendous attention by automating the design of DNNs deployed in more resource-constrained daily life devices. Despite its promising performance, developing optimal HW-NAS solutions can be prohibitively challenging as it requires cross-disciplinary knowledge in the algorithm, micro-architecture, and device-specific compilation. First, to determine the hardware-cost to be incorporated into the NAS process, existing works mostly adopt either pre-collected hardware-cost look-up tables or device-specific hardware-cost models. Both of them limit the development of HW-NAS innovations and impose a barrier-to-entry to non-hardware experts. Second, similar to generic NAS, it can be notoriously difficult to benchmark HW-NAS algorithms due to their significant required computational resources and the differences in adopted search spaces, hyperparameters, and hardware devices. To this end, we develop HW-NAS-Bench, the first public dataset for HW-NAS research which aims to democratize HW-NAS research to non-hardware experts and make HW-NAS research more reproducible and accessible. To design HW-NAS-Bench, we carefully collected the measured/estimated hardware performance of all the networks in the search spaces of both NAS-Bench-201 and FBNet, on six hardware devices that fall into three categories (i.e., commercial edge devices, FPGA, and ASIC). Furthermore, we provide a comprehensive analysis of the collected measurements in HW-NAS-Bench to provide insights for HW-NAS research. Finally, we demonstrate exemplary user cases to (1) show that HW-NAS-Bench allows non-hardware experts to perform HW-NAS by simply querying it and (2) verify that dedicated device-specific HW-NAS can indeed lead to optimal accuracy-cost trade-offs. The codes and all collected data are available at https://github.com/RICE-EIC/HW-NAS-Bench.

연구 동기 및 목표

• 하드웨어 전문 지식 요건을 낮추어 HW-NAS 연구를 민주화한다.
• 여러 탐색 공간에 걸친 실제 하드웨어 데이터 기반의 단일화된 HW-NAS 벤치마크를 제공한다.
• 다양한 디바이스에서 HW-NAS 알고리즘의 재현성과 비교를 가능하게 한다.
• 아키텍처 간 하드웨어 비용, 에너지, 지연, 정확도 간의 관계를 분석한다.
• 하드웨어 비전문가가 디바이스별 HW-NAS를 수행할 수 있는 실용적 워크플로우를 시연한다.

제안 방법

• HW-NAS-Bench를 구성하기 위해 NAS-Bench-201 및 FBNet의 모든 아키텍처에 대해 측정된/추정된 하드웨어 비용(지연, 에너지)을 여섯 대의 디바이스에 걸쳐 수집한다.
• 장치별 컴파일 및 측정 단계가 포함된 하드웨어 비용 수집 파이프라인을 개발한다.
• 장치를 에지 상업용 GPU, Raspi, Edge TPU, Pixel 3, ASIC (Eyeriss), FPGA로 분류하고 구성을 문서화한다.
• 케널드 순위상관을 사용하여 하드웨어 비용과 이론적 지표(FLOPs, #Params) 간의 상관 관계를 분석한다.
• 경험적 비교를 통해 디바이스 간 변동성과 기기의 특성에 맞춘 HW-NAS의 필요성을 평가한다.
• 데이터세트를 질의하고 디바이스별 HW-NAS 최적화를 보여주는 예시 사용자 사례를 제공한다.

실험 결과

연구 질문

• RQ1 전통적인 하드웨어 비용 대리변수(FLOPs, 파라미터 수)가 다양한 디바이스에서 실제 하드웨어 비용(지연, 에너지)과 얼마나 잘 상관하는가?
• RQ2 같은 아키텍처라도 서로 다른 하드웨어 디바이스에서 하드웨어 비용은 어떻게 달라지는가?
• RQ3 최적의 정확도-비용 트레이드를 달성하기 위해 디바이스별 HW-NAS가 필요한가?
• RQ4 하드웨어 전문 지식이 없는 HW-NAS 연구자들이 공용 벤치마크를 활용해 효과적인 HW-NAS 솔루션을 개발할 수 있는가?
• RQ5 NAS-Bench-201 및 FBNet 아키텍처의 정확도와 하드웨어 비용 간 관계에서 어떤 시사점을 얻을 수 있는가?

주요 결과

• 실제 하드웨어 비용은 여러 디바이스에 걸쳐 FLOPs 및 #Params와의 상관관계가 낮아 FLOPs 기반의 HW-NAS가 비효율적일 수 있음을 시사한다.
• 같은 아키텍처의 하드웨어 비용은 디바이스에 따라 크게 다를 수 있으며 때로는 거의 상관관계가 없다.
• 디바이스별 HW-NAS가 크로스-디바이스 전이보다 종종 더 나은 정확도-비용 트레이드를 제공하여 디바이스 맞춤 최적화의 필요성을 강조한다.
• HW-NAS-Bench는 비하드웨어 전문가가 사전 측정된 데이터를 조회하여 HW-NAS를 수행하게 하여 진입 장벽을 낮춘다.
• NAS-Bench-201 및 FBNet 공간에 대한 평가에서 대상 디바이스에 따라 뚜렷하게 다른 최적 아키텍처가 나타나며, 디바이스별 HW-NAS 주장들을 입증한다.
• 데이터세트와 파이프라인은 다수의 하드웨어 타깃에 걸친 재현 가능한 HW-NAS 벤치마킹을 촉진한다.