[论文解读] A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

Cristina Silvano, Daniele Ielmini+20 more|arXiv (Cornell University)|Jun 27, 2023

Advanced Memory and Neural Computing被引用 30

一句话总结

本综述对异构高性能计算平台的最新深度学习加速器进行综述和分类，涵盖 GPU、TPU、FPGA/ASIC NPUs、开放硬件 RISC-V 协处理器，以及新兴的内存与计算范式。它提供了架构、技术与未来挑战的综合视角。

ABSTRACT

Recent trends in deep learning (DL) have made hardware accelerators essential for various high-performance computing (HPC) applications, including image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent developments in DL accelerators, focusing on their role in meeting the performance demands of HPC applications. We explore cutting-edge approaches to DL acceleration, covering not only GPU- and TPU-based platforms but also specialized hardware such as FPGA- and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators, and co-processors. This survey also describes accelerators leveraging emerging memory technologies and computing paradigms, including 3D-stacked Processor-In-Memory, non-volatile memories like Resistive RAM and Phase Change Memories used for in-memory computing, as well as Neuromorphic Processing Units, and Multi-Chip Module-based accelerators. Furthermore, we provide insights into emerging quantum-based accelerators and photonics. Finally, this survey categorizes the most influential architectures and technologies from recent years, offering readers a comprehensive perspective on the rapidly evolving field of deep learning acceleration.

研究动机与目标

• 提供对影响力深度学习加速器架构在 HPC 中的全面概述。
• 按硬件类型、内存技术和计算范式对加速器进行分类，以突出相似性与差异。
• 解释影响 DL 加速器能耗与性能的数据流与内存复用策略。
• 总结 DL 加速器研究中新兴技术与未来挑战。
• 为设计包含 DL 工作负载的 HPC 系统的研究人员和从业者提供参考点。

提出的方法

• 使用具有代表性的特征对加速器进行分类，以比较架构。
• 回顾并参考约230篇关于 DL 加速的工作。
• 涵盖 GPU、TPU、FPGA、ASIC NPUs、RISC-V 开源硬件加速器，以及协处理器。
• 描述如 3D-stacked PIM、非易失性存储器（RRAM/PCM）、神经形态单元，以及多芯片模块等新兴范式。
• 讨论未来趋势，包括量子加速器和光子学。

实验结果

研究问题

• RQ1 哪些是推动 DL 加速在 HPC 工作负载中最具影响力的架构和技术？
• RQ2 在 DL 任务的性能、能效和灵活性方面，GPU/TPU、FPGA/ASIC NPUs 与开放硬件加速器如何比较？
• RQ3 新兴内存技术与计算范式（如 PIM、RRAM/PCM、神经形态）在 DL 加速中扮演怎样的角色？
• RQ4 在异构 HPC 平台上 DL 加速器的关键挑战与未来方向是什么？
• RQ5 如何组织和分类 DL 加速器，以为研究人员和从业者提供连贯的视角？

主要发现

• DL 加速器涵盖 GPUs、TPUs、FPGAs、ASIC NPUs、开放硬件 RISC-V 协处理器，以及内存/处理范式。
• 新兴技术包括 3D-stacked PIM、RRAM、PCM、Neuromorphic Processing Units，以及 Multi-Chip Modules。
• 该综述分析并参考约 230 篇关于 DL 加速的工作，以提供全面的视角。
• 它讨论未来的挑战，如量子加速器和用于 DL 工作负载的光子学。
• 结构化的分类有助于比较架构并识别速度、能量与灵活性之间的权衡。