[논문 리뷰] AutoDNNchip: An Automated DNN Chip Predictor and Builder for Both FPGAs and ASICs

Pengfei Xu, Xiaofan Zhang외 8명|Rare & Special e-Zone (The Hong Kong University of Science and Technology)|2020. 01. 06.

Advanced Neural Network Applications참고 문헌 37인용 수 14

한 줄 요약

AutoDNNchip는 PyTorch 모델에서 FPGA 및 ASIC 기반 DNN 가속기를 최적화하여 자동으로 생성하는 자동화된 프레임워크입니다. 그래프 기반의 설계 공간 표현과 예측 가능한 칩 모델을 사용하여 최소한의 인간 간섭으로 종단 간 하드웨어 생성을 가능하게 하며, 최신 기술 대비 최대 3.86배 높은 성능을 달성하면서도 실제 측정치와 10% 이내의 정확도를 유지합니다.

ABSTRACT

Recent breakthroughs in Deep Neural Networks (DNNs) have fueled a growing demand for DNN chips. However, designing DNN chips is non-trivial because: (1) mainstream DNNs have millions of parameters and operations; (2) the large design space due to the numerous design choices of dataflows, processing elements, memory hierarchy, etc.; and (3) an algorithm/hardware co-design is needed to allow the same DNN functionality to have a different decomposition, which would require different hardware IPs to meet the application specifications. Therefore, DNN chips take a long time to design and require cross-disciplinary experts. To enable fast and effective DNN chip design, we propose AutoDNNchip - a DNN chip generator that can automatically generate both FPGA- and ASIC-based DNN chip implementation given DNNs from machine learning frameworks (e.g., PyTorch) for a designated application and dataset. Specifically, AutoDNNchip consists of two integrated enablers: (1) a Chip Predictor, built on top of a graph-based accelerator representation, which can accurately and efficiently predict a DNN accelerator's energy, throughput, and area based on the DNN model parameters, hardware configuration, technology-based IPs, and platform constraints; and (2) a Chip Builder, which can automatically explore the design space of DNN chips (including IP selection, block configuration, resource balancing, etc.), optimize chip design via the Chip Predictor, and then generate optimized synthesizable RTL to achieve the target design metrics. Experimental results show that our Chip Predictor's predicted performance differs from real-measured ones by < 10% when validated using 15 DNN models and 4 platforms (edge-FPGA/TPU/GPU and ASIC). Furthermore, accelerators generated by our AutoDNNchip can achieve better (up to 3.86X improvement) performance than that of expert-crafted state-of-the-art accelerators.

연구 동기 및 목표

• 현재 시간 소모가 크고 전문 지식이 필요한 설계 과정을 고려해 효율적이고 도메인 특화된 DNN 가속기를 위한 증가하는 수요를 해결하기 위해.
• 큰 설계 공간과 DNN 알고리즘 및 하드웨어 아키텍처 간의 복잡한 공동 최적화 도전 과제를 극복하기 위해.
• 고수준 DNN 모델에서 FPGA 및 ASIC 플랫폼을 위한 고성능, 합성 가능한 RTL 코드를 자동으로 종단 간 생성하기 위해.
• 수동 간섭 없이도 정확한 성능 예측 및 효율적인 설계 공간 탐색을 가능하게 하며, 전문 수준의 하드웨어 지식이 필요하지 않도록 하기 위해.

제안 방법

• AutoDNNchip는 IP, 아키텍처, 데이터플로우 수준의 설계 요소를 통합하고 모델링하기 위해 그래프 기반의 가속기 표현을 사용하여 탄력적이고 확장 가능한 공동 최적화를 가능하게 합니다.
• 에너지, 처리량, 지연, 면적을 예측하는 데 <10% 오차로 정확도를 달성하는 Chip Predictor를 도입하여 DNN 모델 파rameter, 하드웨어 구성, 기술 IP, 플랫폼 제약 조건을 기반으로 예측합니다.
• Chip Predictor의 예측 결과를 바탕으로 최적의 IP 선택, 블록 구성, 자원 균형 조정, 데이터플로우 매핑을 수행함으로써 자동 설계 공간 탐색을 수행하는 Chip Builder를 구현합니다.
• FPGA 및 ASIC 타겟 플랫폼을 모두 지원하며, 타겟 하드웨어에 맞게 최적화된 데이터플로우 매핑이 적용된 합성 가능한 RTL 코드를 생성합니다.
• 동일한 DNN에 대해 다양한 분해 전략을 허용함으로써 알고리즘에서 하드웨어에 이르는 공동 설계를 가능하게 하여 다양한 성능, 에너지, 면적 간 상호 교환 가능성을 탐색합니다.
• 하이레벨 합성 및 사전 검증된 하드웨어 IP를 활용하여 수동 RTL 코딩 없이도 생산용 RTL 생성을 가속화합니다.

실험 결과

연구 질문

• RQ1 FPGA 및 ASIC 플랫폼 전반에서 DNN 모델, 하드웨어 IP, 데이터플로우 매핑 간의 상호작용을 효과적으로 모델링할 수 있는 통합 설계 공간 표현이 가능한가?
• RQ2 고수준 DNN 및 하드웨어 파rameter만을 사용하여 기계 학습 기반 예측기가 에너지, 지연, 처리량, 면적과 같은 핵심 가속기 지표를 최소한의 오차로 정확하게 예측할 수 있는가?
• RQ3 정확한 예측을 기반으로 한 자동 설계 공간 탐색이 전문가가 수작업으로 설계한 가속기 대비 성능 및 효율성 측면에서 뛰어난 성능을 내는가?
• RQ4 수동 간섭 없이 FPGA 및 ASIC 플랫폼에 대해 고성능, 합성 가능한 RTL 코드를 얼마나 효과적으로 생성하는가?
• RQ5 실제 벤치마크에서 생성된 가속기가 최신 기술 수준의 설계를 얼마나 뛰어나게 초월할 수 있는가?

주요 결과

• Chip Predictor는 15개의 DNN 모델과 4개의 플랫폼(에지-FPGA, TPU, GPU, ASIC)에서 전체적으로 10% 이내의 예측 오차를 기록하여 성능 예측의 높은 정확도를 입증합니다.
• AutoDNNchip가 생성한 FPGA 가속기는 최신 기술 대비 최대 3.86배 낮은 지연을 달성하면서도 유사한 에너지 효율성(15% 이내의 차이)을 유지합니다.
• ASIC 기반 가속기는 동일한 처리량 조건에서 Shidiannao ASIC 대비 에너지 소비에서 7.9%에서 58.3%까지 향상된 성능을 보입니다.
• 이 프레임워크는 FPGA 및 ASIC 플랫폼 모두에 대해 합성 가능한 RTL 코드를 성공적으로 생성하여 직접 배포 및 검증이 가능합니다.
• Chip Predictor를 기반으로 한 설계 공간 탐색은 수동으로 제작된 대비 더 뛰어난 성능과 에너지 효율성을 달성하는 최적의 구성으로 이어집니다.
• AutoDNNchip의 오픈소스 구현체는 공개적으로 제공되며, https://github.com/RICE-EIC/AutoDNNchip.git 에서 접근 가능하여 재현성과 커뮤니티 확장이 가능합니다.