[论文解读] LSTM-Sharp: An Adaptable, Energy-Efficient Hardware Accelerator for Long Short-Term Memory.

Reza Yazdani, Olatunji Ruwase+4 more|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling参考文献 38被引用 12

一句话总结

LSTM-Sharp 是一种可重构的、基于分块的硬件加速器，通过智能调度和流水线调度克服了长短期记忆网络（LSTM）推理中的数据依赖性和资源利用率低的问题。它在不同模型和资源预算下实现了1.5倍至82倍的加速，以及383 GFLOPs/W的能效。

ABSTRACT

The effectiveness of LSTM neural networks for popular tasks such as Automatic Speech Recognition has fostered an increasing interest in LSTM inference acceleration. Due to the recurrent nature and data dependencies of LSTM computations, designing a customized architecture specifically tailored to its computation pattern is crucial for efficiency. Since LSTMs are used for a variety of tasks, generalizing this efficiency to diverse configurations, i.e., adaptiveness, is another key feature of these accelerators. In this work, we first show the problem of low resource-utilization and adaptiveness for the state-of-the-art LSTM implementations on GPU, FPGA and ASIC architectures. To solve these issues, we propose an intelligent tiled-based dispatching mechanism that efficiently handles the data dependencies and increases the adaptiveness of LSTM computation. To do so, we propose LSTM-Sharp as a hardware accelerator, which pipelines LSTM computation using an effective scheduling scheme to hide most of the dependent serialization. Furthermore, LSTM-Sharp employs dynamic reconfigurable architecture to adapt to the model's characteristics. LSTM-Sharp achieves 1.5x, 2.86x, and 82x speedups on average over the state-of-the-art ASIC, FPGA, and GPU implementations respectively, for different LSTM models and resource budgets. Furthermore, we provide significant energy-reduction with respect to the previous solutions, due to the low power dissipation of LSTM-Sharp (383 GFLOPs/Watt).

研究动机与目标

• 为解决现有GPU、FPGA和ASIC LSTM加速器中存在的资源利用率低和适应性差的问题。
• 设计一种硬件加速器，以高效管理LSTM计算中固有的循环数据依赖性。
• 通过动态可重构性，实现对不同LSTM模型特性与资源预算的自适应能力。
• 在多种LSTM工作负载下实现高性能与高能效。

提出的方法

• 提出一种基于分块的调度机制，以管理数据依赖性并提高资源利用率。
• 采用流水线调度方案，隐藏循环计算带来的序列化延迟。
• 利用动态可重构性，使加速器架构能够适配不同的LSTM模型配置。
• 通过优化硬件设计实现低功耗损耗，达到383 GFLOPs/W的能效。
• 通过可重构性设计，使加速器支持多种LSTM模型尺寸和层配置。
• 集成高效的内存访问模式与计算调度，以最大化吞吐量。

实验结果

研究问题

• RQ1 如何有效管理LSTM计算中的数据依赖性，以提高资源利用率？
• RQ2 何种架构设计能够实现对多样化LSTM模型配置的高适应性？
• RQ3 流水线与调度机制如何减轻LSTM推理中循环序列化的影响？
• RQ4 可重构硬件加速器在LSTM推理中可达到怎样的性能与能效水平？
• RQ5 与最先进的GPU、FPGA和ASIC实现相比，所提出的加速器在性能与能效方面表现如何？

主要发现

• LSTM-Sharp在多种LSTM模型上相比最先进的ASIC实现，平均实现1.5倍的加速。
• 在相同资源约束下，相比基于FPGA的加速器，其平均实现2.86倍的加速。
• 与GPU实现相比，最高实现82倍的加速，表明其在LSTM推理中具有卓越的性能表现。
• LSTM-Sharp实现了383 GFLOPs/W的能效，显著降低了功耗，优于以往解决方案。
• 动态可重构架构能够有效适应不同模型尺寸与层配置。
• 智能分块调度机制有效隐藏了序列化延迟，提升了硬件利用率。