[논문 리뷰] Hardware/Software Co-Exploration of Neural Architectures

Weiwen Jiang, Lei Yang외 6명|arXiv (Cornell University)|2019. 07. 06.

Advanced Neural Network Applications참고 문헌 40인용 수 16

한 줄 요약

이 논문은 정확도와 하드웨어 효율성을 최대화하기 위해 신경망 아키텍처와 FPGA 하드웨어 설계 공간을 함께 최적화하는 하드웨어/소프트웨어 공동 탐색 프레임워크를 제안한다. 빠른 탐색과 느린 탐색의 이중 수준 반복 탐색(빠른 절단을 통해 전체 학습 없이 저효율 아키텍처를 제거하고, 느린 강화학습을 통해 최상의 후보를 정밀 조정)을 사용함으로써, ImageNet에서 기존 하드웨어 인식 NAS 대비 35.24% 높은 처리량과 54.05% 높은 에너지 효율성을 달성하면서도 유사한 정확도를 유지한다.

ABSTRACT

We propose a novel hardware and software co-exploration framework for efficient neural architecture search (NAS). Different from existing hardware-aware NAS which assumes a fixed hardware design and explores the neural architecture search space only, our framework simultaneously explores both the architecture search space and the hardware design space to identify the best neural architecture and hardware pairs that maximize both test accuracy and hardware efficiency. Such a practice greatly opens up the design freedom and pushes forward the Pareto frontier between hardware efficiency and test accuracy for better design tradeoffs. The framework iteratively performs a two-level (fast and slow) exploration. Without lengthy training, the fast exploration can effectively fine-tune hyperparameters and prune inferior architectures in terms of hardware specifications, which significantly accelerates the NAS process. Then, the slow exploration trains candidates on a validation set and updates a controller using the reinforcement learning to maximize the expected accuracy together with the hardware efficiency. Experiments on ImageNet show that our co-exploration NAS can find the neural architectures and associated hardware design with the same accuracy, 35.24% higher throughput, 54.05% higher energy efficiency and 136x reduced search time, compared with the state-of-the-art hardware-aware NAS.

연구 동기 및 목표

• 기존 하드웨어 인식 NAS의 한계를 해결하기 위해, 하드웨어 플랫폼을 고정하고 신경망 아키텍처 공간만 탐색하는 방식으로 인해 발생하는 최적화되지 않은 설계 트레이드오���을 해결한다.
• 정확도와 하드웨어 효율성 사이의 파레토 경계를 향상시키기 위해 신경망 아키텍처와 하드웨어 설계 공간을 함께 탐색함으로써 설계 자유도를 확장한다.
• 완전한 학습 없이도 하드웨어 효율성을 평가할 수 있는 빠르고 경량의 절단 단계를 도입하여 NAS 프로세스를 가속화한다.
• 검색 중에 시간 제약 조건(예: 10 FPS)을 충족시키기 위해, 타이밍 사양을 함께 최적화함으로써 최종 모델이 실시간 요구사항을 충족하도록 보장한다.
• 모델 크기만으로는 하드웨어 효율성을 보장할 수 없음을 입증하여, 하드웨어 매핑에서의 아키텍처 구조 민감성으로 인해 공동 탐색의 필요성을 증명한다.

제안 방법

• 빠른 단계와 느린 단계로 이루어진 이중 수준 반복 탐색을 구현한다: 빠른 단계는 하드웨어 효율성 추정과 열 劣한 아키텍처의 절단을 위한 빠른 평가를 수행하고, 느린 단계는 완전한 학습과 정책 기반 강화학습을 통한 컨트롤러 업데이트를 수행한다.
• 빠른 단계 동안 정확한 하드웨어 효율성 추정(처리량, 에너지 효율성)을 위해 BLAST 프레임워크를 사용하여 신경망을 다수의 FPGA에 분할한다.
• 느린 단계에서 강화학습을 통합하여 예상 정확도와 하드웨어 효율성을 조합한 다목적 보상 함수를 최대화한다.
• 하드웨어 설계 공간을 NAS에서의 1순위 대상으로 간주하여, 각 신경망 아키텍처에 맞게 맞춤형 FPGA 설정을 탐색할 수 있도록 한다.
• 면적, 비용, 전력, 신뢰성 등의 다양한 하드웨어 메트릭을 최적화 목표로 지원하며, 평가에서는 처리량과 에너지 효율성에 중점을 둔다.
• 기존 NAS 프레임워크에 하드웨어 공동 설계 기능을 추가하여 최신 상태의 NAS 파이프라인과의 플러그인 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처와 하드웨어 설계 공간을 함께 탐색하면 순차적 또는 고정 하드웨어 기반 NAS보다 정확도와 하드웨어 효율성 사이의 더 나은 트레이드오프를 달성할 수 있는가?
• RQ2 완전한 학습 없이 하드웨어 효율성 기반의 빠른 절단이 탐색 품질을 유지하면서도 NAS 프로세스를 크게 가속화하는가?
• RQ3 공동 탐색은 하드웨어 인식 NAS가 실패하는 엄격한 실시간 제약 조건(예: 10 FPS)을 충족하는 아키텍처를 식별할 수 있는가?
• RQ4 아키텍처 구조와 하드웨어 효율성 간의 결합이 설계 공간 탐색에 미치는 영향은 무엇이며, 이를 탐색 성과 향상에 활용할 수 있는가?
• RQ5 고정된 하드웨어 접근 방식에 비해 하드웨어 설계 공간을 개방함으로써 정확도 대비 하드웨어 효율성의 파레토 경계가 얼마나 확장되는가?

주요 결과

• 공동 탐색 프레임워크는 ImageNet에서 기존 하드웨어 인식 NAS 대비 35.24% 높은 처리량과 54.05% 높은 에너지 효율성을 달성하면서도 유사한 테스트 정확도를 유지한다.
• Xilinx XC7Z015 FPGA 기반의 CIFAR-10에서 공동 탐색 방법(설계 C)은 하드웨어 인식 NAS 모델의 순차적 최적화 대비 16.33% 높은 처리량과 28.80% 높은 에너지 효율성을 달성했다.
• 이 프레임워크는 10 FPS 타이밍 제약 조건을 충족하는 모델을 성공적으로 식별했으며, ProxylessNet과 MobileNetV2는 이 기준을 충족하지 못했다.
• 수작업 설계된 MobileNetV2와 비교해 공동 탐색 프레임워크는 2.33배 높은 처리량과 1.57배 높은 에너지 효율성을 달성했으며, 상위 5개 정확도 손실은 0.47%에 불과했다.
• ProxylessNet과 비교했을 때, 공동 탐색 프레임워크는 90.53%의 상위 5개 정확도(대비 92.50%)를 달성하면서도 10 FPS 요구 조건을 충족시켰다. 이는 실시간 시스템에서 더 나은 트레이드오프를 보여준다.
• 연구는 모델 크기만으로는 하드웨어 효율성을 예측할 수 없음을 확인했다. 유사한 크기를 가진 아키텍처 간에도 하드웨어 효율성에 큰 격차(예: 1.29%에서 98.35%)가 존재함을 입증하여, 공동 탐색의 필요성을 증명한다.