[论文解读] Are FPGAs Suitable for Edge Computing?

Saman Biookaghazadeh, Fengbo Ren+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Adaptive Filtering Techniques参考文献 2被引用 16

一句话总结

本文通过在英特尔凌动10 FPGA 和 NVIDIA Tesla K40m GPU 上使用基于 OpenCL 的内核，对比评估了FPGA在边缘计算中的吞吐量、能效和适应性，与GPU进行比较。结果表明，FPGA在不同工作负载规模下均保持一致的吞吐量，能效最高比GPU高出30.7倍，且由于具备细粒度的空间和时间并行性，其在高依赖性算法中也保持了稳定的性能。

ABSTRACT

The rapid growth of Internet-of-things (IoT) and artificial intelligence applications have called forth a new computing paradigm--edge computing. In this paper, we study the suitability of deploying FPGAs for edge computing from the perspectives of throughput sensitivity to workload size, architectural adaptiveness to algorithm characteristics, and energy efficiency. This goal is accomplished by conducting comparison experiments on an Intel Arria 10 GX1150 FPGA and an Nvidia Tesla K40m GPU. The experiment results imply that the key advantages of adopting FPGAs for edge computing over GPUs are three-fold: 1) FPGAs can provide a consistent throughput invariant to the size of application workload, which is critical to aggregating individual service requests from various IoT sensors; (2) FPGAs offer both spatial and temporal parallelism at a fine granularity and a massive scale, which guarantees a consistently high performance for accelerating both high-concurrency and high-dependency algorithms; and (3) FPGAs feature 3-4 times lower power consumption and up to 30.7 times better energy efficiency, offering better thermal stability and lower energy cost per functionality.

研究动机与目标

• 评估FPGA相较于GPU在边缘计算中的适用性。
• 分析不同工作负载规模下的吞吐量可预测性。
• 评估在不同算法工作负载下，能效和热稳定性表现。
• 研究架构在并发性和数据依赖性方面的适应能力。
• 确定FPGA是否可作为基于GPU的边缘服务器的可行替代方案。

提出的方法

• 在英特尔凌动10 GX1150 FPGA 和 NVIDIA Tesla K40m GPU 上，使用OpenCL内核对FPGA和GPU性能进行基准测试。
• 测量不同批处理大小和数据依赖性水平下的原始吞吐量和归一化吞吐量。
• 使用 nvidia-smi 和 Nallatech API 实时记录功耗，以计算能效。
• 在包含8至1024个操作的矩阵乘法和条件依赖性工作负载上评估性能。
• 分析低依赖性和高依赖性算法场景下的吞吐量和能效表现。
• 使用高层次综合（HLS）在基于C语言的OpenCL中实现可移植且高性能的FPGA内核。

实验结果

研究问题

• RQ1 FPGA能否在不同应用工作负载规模下保持一致的吞吐量，而GPU则不能？
• RQ2 在不同数据并发性和依赖性水平下，FPGA的能效与GPU相比如何？
• RQ3 通过动态硬件重构，FPGA在多大程度上能够适应高依赖性算法？
• RQ4 与GPU类似，FPGA在条件分支或复杂控制流下性能是否会下降？
• RQ5 在具有流式数据的现实边缘工作负载中，FPGA的能效优势是什么？

主要发现

• FPGA的吞吐量在工作负载规模变化时保持一致，而GPU的吞吐量随工作负载增大而显著下降。
• FPGA的能效比GPU高出2.5至30.7倍，其中小批量处理时提升最大（最高达30.7倍）。
• 对于高数据依赖性工作负载（依赖度为256），FPGA的能效比GPU最高高出11.8倍。
• 由于线程束发散，GPU在条件分支下的性能最高下降37.12倍，而FPGA性能保持稳定。
• 由于具备细粒度的空间和时间并行性，FPGA在高并发性和高依赖性算法中均能保持高吞吐量。
• FPGA的功耗比GPU低2.79至3.92倍，从而在边缘部署中实现更好的热稳定性，并降低冷却和能耗成本。