[논문 리뷰] A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

Cristina Silvano, Daniele Ielmini외 20명|arXiv (Cornell University)|2023. 06. 27.

Advanced Memory and Neural Computing인용 수 30

한 줄 요약

이 설문은 이종 HPC 플랫폼을 위한 최신 딥 러닝 가속기를 검토하고 분류합니다. 여기에는 GPU, TPU, FPGA/ASIC NPU, 오픈 하드웨어 RISC-V 공동 프로세서, 그리고 신흥 메모리 및 컴퓨팅 패러다임이 포함됩니다. 아키텍처, 기술 및 향후 과제에 대한 통합 관점을 제공합니다.

ABSTRACT

Recent trends in deep learning (DL) have made hardware accelerators essential for various high-performance computing (HPC) applications, including image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent developments in DL accelerators, focusing on their role in meeting the performance demands of HPC applications. We explore cutting-edge approaches to DL acceleration, covering not only GPU- and TPU-based platforms but also specialized hardware such as FPGA- and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators, and co-processors. This survey also describes accelerators leveraging emerging memory technologies and computing paradigms, including 3D-stacked Processor-In-Memory, non-volatile memories like Resistive RAM and Phase Change Memories used for in-memory computing, as well as Neuromorphic Processing Units, and Multi-Chip Module-based accelerators. Furthermore, we provide insights into emerging quantum-based accelerators and photonics. Finally, this survey categorizes the most influential architectures and technologies from recent years, offering readers a comprehensive perspective on the rapidly evolving field of deep learning acceleration.

연구 동기 및 목표

• HPC용 영향력 있는 DL 가속기 아키텍처에 대한 포괄적 개요를 제공한다.
• 하드웨어 유형, 메모리 기술, 계산 패러다임별로 가속기를 분류하여 유사점과 차이점을 강조한다.
• 에너지와 성능에 영향을 주는 데이터 흐름과 메모리 재사용 전략을 설명한다.
• DL 가속기 연구의 신기술과 향후 과제를 요약한다.
• DL 워크로드를 가진 HPC 시스템을 설계하는 연구자와 실무자를 위한 참고 지점을 제시한다.

제안 방법

• 대표 특징을 사용해 가속기를 분류하여 아키텍처를 비교한다.
• DL 가속화에 관한 약 230편의 연구를 검토하고 참고한다.
• GPU, TPU, FPGA, ASIC NPUs, RISC-V 오픈하드웨어 가속기 및 공동프로세서를 다룬다.
• 3D-stacked PIM, 비휘발성 메모리(RRAM/PCM), 뉴로모픽 유닛, 다중 칩 모듈(Multi-Chip Modules)과 같은 신흥 패러다임을 설명한다.
• 양자 가속기와 포토닉스와 같은 향후 트렌드를 논의한다.

실험 결과

연구 질문

• RQ1 HPC 워크로드에 대한 DL 가속을 가능하게 하는 가장 영향력 있는 아키텍처와 기술은 무엇인가?
• RQ2 GPU/TPU, FPGA/ASIC NPU, 그리고 오픈 하드웨어 가속기가 DL 작업에 대한 성능, 에너지 효율성, 유연성 측면에서 어떻게 비교되는가?
• RQ3 신흥 메모리 기술과 컴퓨팅 패러다임(PIM, RRAM/PCM, 뉴로모픽 등)이 DL 가속에서 어떤 역할을 하는가?
• RQ4 이종 HPC 플랫폼에서 DL 가속기의 주요 과제와 향후 방향은 무엇인가?
• RQ5 연구자와 실무자에게 일관된 관점을 제공하도록 DL 가속기를 어떻게 구성하고 분류할 수 있는가?

주요 결과

• DL 가속기는 GPU, TPU, FPGA, ASIC NPUs, 오픈 하드웨어 RISC-V 공동프로세서, 그리고 메모리/처리 패러다임에 걸쳐 있다.
• 신흥 기술로는 3D-stacked PIM, RRAM, PCM, 뉴로모픽 프로세싱 유닛, 그리고 다중 칩 모듈이 있다.
• 본 조사는 DL 가속에 관한 약 230편의 연구를 분석하고 참고하여 포괄적 시각을 제공한다.
• DL 워크로드를 위한 양자 가속기와 포토닉스와 같은 향후 과제가 다루어진다.
• 구조화된 분류는 아키텍처를 비교하고 속도, 에너지, 유연성 간의 트레이드오프를 식별하는 데 도움이 된다.