[論文レビュー] Memristive LSTM network hardware architecture for time-series predictive modeling problem

Kazybek Adam, Kamilya Smagulova+1 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Memory and Neural Computing参考文献 10被引用数 5

ひとこと要約

本論文は、CMOSおよびHPメモリスタ技術を用いて、時間的系列予測に適した電圧ベースのアナログハードウェアアーキテクチャを提案する。長短記憶（LSTM）ネットワークの高精度な電圧ドメインシグモイドおよび双曲正接活性化関数、4象限乗算器、およびマルチステップ予測用の制御回路を実装し、アナログハードウェアで決定誤差の平方根（RMSE）が0.1004に達し、ソフトウェアベンチマーク（RMSE = 0.1059）と非常に近い結果を得た。

ABSTRACT

Analysis of time-series data allows to identify long-term trends and make predictions that can help to improve our lives. With the rapid development of artificial neural networks, long short-term memory (LSTM) recurrent neural network (RNN) configuration is found to be capable in dealing with time-series forecasting problems where data points are time-dependent and possess seasonality trends. Gated structure of LSTM cell and flexibility in network topology (one-to-many, many-to-one, etc.) allows to model systems with multiple input variables and control several parameters such as the size of the look-back window to make a prediction and number of time steps to be predicted. These make LSTM attractive tool over conventional methods such as autoregression models, the simple average, moving average, naive approach, ARIMA, Holt's linear trend method, Holt's Winter seasonal method, and others. In this paper, we propose a hardware implementation of LSTM network architecture for time-series forecasting problem. All simulations were performed using TSMC 0.18um CMOS technology and HP memristor model.

研究の動機と目的

• 現在の設計に起因する制限を克服し、低面積かつ高精度なアナログハードウェア実装によるLSTMを時間的系列予測に向け開発すること。
• デジタルのしきい値では不十分な回帰タスク（例：時間的系列予測）における正確なアナログ出力を実現すること。
• 再帰的ニューラルネットワークにおける効率的な重み保存および計算のため、メモリスタクロスバーアレイとCMOS回路を統合すること。
• TSMC 0.18 µm CMOSおよびHPメモリスタモデルを用いたシミュレーションを通じて、ハードウェア設計の正確性とエネルギー効率を検証すること。
• アナログLSTMハードウェアがソフトウェアベースのLSTMモデルと同等の予測性能を達成できることを実証すること。

提案手法

• 電流モード実装と比較して、精度を向上させ、変換のオーバーヘッドを低減するため、CMOS回路を用いて電圧ベースのLSTMセルを設計する。
• 入力/出力範囲を調整可能な、差動アンプベースの回路を用いて、高精度なシグモイドおよび双曲正接活性化関数を実装する。
• 先行研究から採用した低電圧4象限コンダクタンス乗算器を改良し、CMOS電流源と信号スケーリングを追加することで、精度を向上させる。
• 時間ステップに跨る逐次計算を管理するため、パスロジックおよびサブサイクルタイミングを備えた制御回路を導入し、マルチステップ予測を可能にする。
• 2段階のアーキテクチャを採用：4つの隠れユニットと2つの時間ステップを持つLSTM層、その後に最終予測用の線形出力全結合層を配置。
• 入力値を0〜1の範囲に正規化し、TSMC 0.18 µm CMOS技術およびHPメモリスタモデルを用いて、システム全体をシミュレーションする。

実験結果

リサーチクエスチョン

• RQ1 電圧ベースのアナログLSTMハードウェア設計は、時間的系列予測のソフトウェアベースLSTMと同等の予測精度を達成できるか？
• RQ2 CMOS回路とメモリスタクロスバーの統合は、LSTMハードウェア実装における面積、消費電力、精度にどのような影響を与えるか？
• RQ3 電圧ドメインの活性化関数と電流ドメインの関数を比較した場合、回帰タスクにおける予測精度にどのような影響があるか？
• RQ4 アナログハードウェアは、LSTM推論において性能を維持しつつ、シミュレーション時間と消費電力をどの程度削減できるか？
• RQ5 サブサイクル制御および意図的な遅延は、マルチステップアナログLSTM計算における収束性と安定性にどのような影響を与えるか？

主な発見

• アナログハードウェア実装では、決定誤差の平方根（RMSE）が0.1004に達し、ソフトウェアベンチマークのRMSE（0.1059）と非常に近い結果を得た。
• アナログ実装の平均二乗誤差（MSE）は0.0101であり、ソフトウェアモデルの0.0112と比較して、強い性能同等性を示した。
• 45個のテストポイントを予測するための合計シミュレーション時間は3.96 ms、1サイクルあたり88 µsであり、リアルタイム実行の可能性を示した。
• すべての入力が1Vに設定されたピーク消費電力時、回路は210.67 mWを消費し、1個のLSTMセルあたり総面積は58,569 µm²であった。
• 電圧ベースの活性化関数と信号スケーリングの採用により、電流モード設計と比較して回路の複雑さが低減され、出力の予測可能性が向上した。
• サブサイクルに意図的に2 µsの遅延を導入したことで、収束問題が防止され、時間ステップに跨る計算が安定した。