[论文解读] Memristive LSTM network hardware architecture for time-series predictive modeling problem

Kazybek Adam, Kamilya Smagulova+1 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Memory and Neural Computing参考文献 10被引用 5

一句话总结

该论文提出了一种基于电压的模拟硬件架构，用于长短期记忆（LSTM）网络，采用CMOS与HP忆阻器技术，旨在实现精确的时间序列预测。该架构实现了高精度的电压域Sigmoid和双曲正切激活函数、四象限乘法器以及用于多步预测的控制电路，在模拟硬件中实现了0.1004的均方根误差（RMSE），与软件基准（RMSE = 0.1059）非常接近。

ABSTRACT

Analysis of time-series data allows to identify long-term trends and make predictions that can help to improve our lives. With the rapid development of artificial neural networks, long short-term memory (LSTM) recurrent neural network (RNN) configuration is found to be capable in dealing with time-series forecasting problems where data points are time-dependent and possess seasonality trends. Gated structure of LSTM cell and flexibility in network topology (one-to-many, many-to-one, etc.) allows to model systems with multiple input variables and control several parameters such as the size of the look-back window to make a prediction and number of time steps to be predicted. These make LSTM attractive tool over conventional methods such as autoregression models, the simple average, moving average, naive approach, ARIMA, Holt's linear trend method, Holt's Winter seasonal method, and others. In this paper, we propose a hardware implementation of LSTM network architecture for time-series forecasting problem. All simulations were performed using TSMC 0.18um CMOS technology and HP memristor model.

研究动机与目标

• 开发一种低面积、高精度的模拟LSTM硬件实现，用于时间序列预测，以克服现有基于电流的设计的局限性。
• 解决回归任务（如时间序列预测）中对精确模拟输出的需求，因为数字阈值不足以满足精度要求。
• 将忆阻器交叉阵列与CMOS电路集成，以在循环神经网络中实现高效的权重存储与计算。
• 通过使用TSMC 0.18 µm CMOS和HP忆阻器模型进行仿真，验证硬件设计的准确性与能效。
• 证明模拟LSTM硬件可实现与基于软件的LSTM模型相当的预测性能。

提出的方法

• 采用CMOS电路设计基于电压的LSTM单元，相比基于电流的实现，提高了精度并减少了转换开销。
• 采用基于差分放大器的电路实现高精度Sigmoid和双曲正切激活函数，支持可调输入/输出范围。
• 借鉴先前工作中的低电压四象限跨导乘法器，并通过CMOS电流源和信号缩放进行增强，以提升精度。
• 引入一种控制电路，结合传输门逻辑和子周期定时，以管理时间步之间的顺序计算，实现多步预测。
• 采用两层架构：第一层为含四个隐藏单元和两个时间步的LSTM层，第二层为线性输出密集层，用于最终预测。
• 使用TSMC 0.18 µm CMOS工艺和HP忆阻器模型对整个系统进行仿真，输入值在0到1之间归一化。

实验结果

研究问题

• RQ1 基于电压的模拟LSTM硬件设计能否在时间序列预测中实现与基于软件的LSTM相当的预测精度？
• RQ2 CMOS电路与忆阻器交叉阵列的集成如何影响LSTM硬件实现中的面积、功耗和精度？
• RQ3 在回归任务中，使用电压域激活函数与电流域函数相比，对预测精度有何影响？
• RQ4 模拟硬件在保持性能的同时，能在多大程度上减少仿真时间与功耗，用于LSTM推理？
• RQ5 子周期控制与有意延迟对多步模拟LSTM计算中的收敛性与稳定性有何影响？

主要发现

• 模拟硬件实现的均方根误差（RMSE）为0.1004，与软件基准的RMSE（0.1059）非常接近。
• 模拟实现的均方误差（MSE）为0.0101，而软件模型为0.0112，表明性能高度一致。
• 预测45个测试点的总仿真时间为3.96 ms，每个周期持续88 µs，证明了实时可行性。
• 当所有输入电压为1V时，峰值功耗为210.67 mW，每个LSTM单元的总面积为58,569 µm²。
• 采用电压域激活函数和信号缩放显著降低了电路复杂度，并提高了输出可预测性，优于基于电流的设计。
• 在子周期中引入2 µs的有意延迟，有效防止了收敛问题，并确保了时间步间计算的稳定性。