[论文解读] Heterogeneous FPGA+GPU Embedded Systems: Challenges and Opportunities

Mohammad Hosseinabady, Mohd Amiruddin Zainol+1 more|arXiv (Cornell University)|Jan 18, 2019

Parallel Computing and Optimization Techniques参考文献 22被引用 4

一句话总结

本文提出一种异构FPGA+GPU嵌入式系统，以优化边缘计算中的性能与能效。该研究引入了一种面向FPGA加速的流式计算框架、一种性能/功耗建模技术以及一种动态任务调度策略，在图像直方图、密集矩阵向量乘法（DeMV）和稀疏矩阵向量乘法（SpMV）工作负载下，当两种加速器并行执行时，实现了1.79倍的性能提升和2.29倍的能效改进。

ABSTRACT

The edge computing paradigm has emerged to handle cloud computing issues such as scalability, security and low response time among others. This new computing trend heavily relies on ubiquitous embedded systems on the edge. Performance and energy consumption are two main factors that should be considered during the design of such systems. Focusing on performance and energy consumption, this paper studies the opportunities and challenges that a heterogeneous embedded system consisting of embedded FPGAs and GPUs (as accelerators) can provide for applications. We study three design, modeling and scheduling challenges throughout the paper. We also propose three techniques to cope with these three challenges. Applying the proposed techniques to three applications including image histogram, dense matrix-vector multiplication and sparse matrix-vector multiplications show 1.79x and 2.29x improvements in performance and energy consumption, respectively, when both FPGA and GPU execute the corresponding application in parallel.

研究动机与目标

• 应对物联网与嵌入式系统中对高性能、低功耗边缘计算日益增长的需求。
• 克服在设计、建模与调度异构FPGA+GPU系统以实现最优性能与能效方面所面临的挑战。
• 开发一种系统化方法论，以实现嵌入式FPGA与GPU之间高效的任务卸载。
• 在真实工作负载（如图像处理及稀疏/密集矩阵运算）上展示协同执行的优势。

提出的方法

• 提出一种基于高层次综合（HLS）工具的流式计算引擎，以高效映射多样化应用至嵌入式FPGA。
• 开发一种性能与功耗建模技术，用于预测FPGA与GPU工作负载的执行特性。
• 设计一种动态任务调度算法，根据数据大小与平台能力将工作负载在FPGA与GPU之间分配。
• 在三个应用上实现并评估该框架：图像直方图、密集矩阵向量乘法（DeMV）与稀疏矩阵向量乘法（SpMV）。
• 通过共享地址空间实现零拷贝内存访问，消除PCIe开销并提升内存带宽利用率。
• 在FPGA设计中应用循环展开与流水线技术，以实现高吞吐量与极低启动间隔（II=1）。

实验结果

研究问题

• RQ1 异构FPGA+GPU嵌入式系统如何在性能与能效方面优于独立加速器？
• RQ2 何种系统化设计方法论可实现利用HLS工具对多样化工作负载进行高效FPGA加速？
• RQ3 在共享内存嵌入式系统中，如何对FPGA与GPU组件的性能与能耗进行准确建模？
• RQ4 何种调度策略可最优地在FPGA与GPU之间划分并行任务，以最小化执行时间与能耗？

主要发现

• 所提出的FPGA+GPU协同机制相比仅使用GPU的执行方式，实现了1.79倍的性能提升与2.29倍的能效改进。
• 在图像直方图工作负载中，Zynq MPSoC FPGA的功耗显著低于Jetson TX1 GPU（最多低5.2倍）。
• 当任务在Zynq与Jetson之间拆分时，DeMV应用实现了1.48倍的性能增益与1.19倍的能效改进，相比仅使用GPU的执行方式。
• 在大数据规模下，SpMV工作负载在Jetson上相比Zynq MPSoC实现了3.2倍的加速；当同时使用FPGA与GPU时，性能提升1.46倍，能效提升1.23倍。
• 经过循环展开后，基于FPGA的设计实现了II=1，从而实现最大吞吐量并消除了流水线瓶颈。
• 采用零拷贝访问的共享内存架构降低了处理器间通信开销，并提升了内存带宽利用率。