[논문 리뷰] Memristive LSTM network hardware architecture for time-series predictive modeling problem

Kazybek Adam, Kamilya Smagulova외 1명|arXiv (Cornell University)|2018. 09. 10.

Advanced Memory and Neural Computing참고 문헌 10인용 수 5

한 줄 요약

이 논문은 CMOS 및 HP 메모리스터 기술을 사용하여 장단기 기억(LSTM) 네트워크를 위한 전압 기반 아날로그 하드웨어 아키텍처를 제안한다. 이는 정확한 시계열 예측을 위해 설계되었으며, 고정밀 전압 도메인 시그모이드 및双곡탄젠트 활성화 함수, 4사분면 승수기, 다단계 예측을 위한 제어 회로를 구현하여 아날로그 하드웨어에서 루트 평균 제곱 오차(RMSE) 0.1004를 달성했으며, 소프트웨어 기준치(RMSE = 0.1059)와 매우 유사한 성능을 보였다.

ABSTRACT

Analysis of time-series data allows to identify long-term trends and make predictions that can help to improve our lives. With the rapid development of artificial neural networks, long short-term memory (LSTM) recurrent neural network (RNN) configuration is found to be capable in dealing with time-series forecasting problems where data points are time-dependent and possess seasonality trends. Gated structure of LSTM cell and flexibility in network topology (one-to-many, many-to-one, etc.) allows to model systems with multiple input variables and control several parameters such as the size of the look-back window to make a prediction and number of time steps to be predicted. These make LSTM attractive tool over conventional methods such as autoregression models, the simple average, moving average, naive approach, ARIMA, Holt's linear trend method, Holt's Winter seasonal method, and others. In this paper, we propose a hardware implementation of LSTM network architecture for time-series forecasting problem. All simulations were performed using TSMC 0.18um CMOS technology and HP memristor model.

연구 동기 및 목표

• 현재 기반 설계의 한계를 극복하기 위해, 시계열 예측을 위한 저면적, 고정밀도 아날로그 하드웨어 구현을 개발하는 것.
• 디지털 임계값이 부족한 회귀 과제, 예를 들어 시계열 예측과 같은 과제에서 정밀한 아날로그 출력이 필요한 요구사항을 충족하는 것.
• 반복 신경망에서 효율적인 가중치 저장 및 연산을 위해 메모리스터 크로스바 어レイ와 CMOS 회로를 통합하는 것.
• TSMC 0.18 µm CMOS 및 HP 메모리스터 모델을 사용한 시뮬레이션을 통해 하드웨어 설계의 정확성과 에너지 효율성을 검증하는 것.
• 아날로그 LSTM 하드웨어가 소프트웨어 기반 LSTM 모델과 비교해도 예측 성능을 유사하게 달성할 수 있음을 보여주는 것.

제안 방법

• 현재 모드 설계 대비 정밀도 향상과 변환 오 overhead 감소를 위해 CMOS 회로를 사용한 전압 기반 LSTM 셀을 설계한다.
• 입력/출력 범위를 조절할 수 있는 차동 증폭기 기반 회로를 사용해 고정밀 시그모이드 및 쌍곡탄젠트 활성화 함수를 구현한다.
• 이전 연구에서 유래한 저전압 4사분면 전도도 승수기의 변형을 적용하며, CMOS 커펌턴트 소스와 신호 스케일링을 추가해 정밀도를 향상시킨다.
• 순차적 계산을 시간 단위로 관리하기 위해 패assing 로직과 서브사이클 타이밍을 갖춘 제어 회로를 도입하여 다단계 예측을 가능하게 한다.
• 두 층 구조를 사용한다: 4개의 은닉 유닛과 2단계의 시간 단위를 가진 LSTM 층, 그리고 최종 예측을 위한 선형 출력 밀도 층.
• 입력 값을 0에서 1 사이로 정규화한 상태에서, TSMC 0.18 µm CMOS 기술 및 HP 메모리스터 모델을 사용해 전체 시스템을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 전압 기반 아날로그 LSTM 하드웨어 설계가 시계열 예측에 있어 소프트웨어 기반 LSTM과 유사한 예측 정밀도를 달성할 수 있는가?
• RQ2 CMOS 회로와 메모리스터 크로스바의 통합이 LSTM 하드웨어 설계에서 면적, 전력 소모, 정밀도에 어떤 영향을 미치는가?
• RQ3 회귀 과제에서 예측 정밀도에 영향을 주는 전압 도메인 활성화 함수와 전류 도메인 활성화 함수의 차이는 무엇인가?
• RQ4 아날로그 하드웨어는 LSTM 추론에서 성능을 유지하면서 시뮬레이션 시간과 전력 소모를 얼마나 줄일 수 있는가?
• RQ5 서브사이클 제어와 의도적인 지연이 다단계 아날로그 LSTM 계산의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 아날로그 하드웨어 구현에서 루트 평균 제곱 오차(RMSE)는 0.1004를 기록했으며, 소프트웨어 기준치의 RMSE 0.1059와 매우 유사했다.
• 아날로그 설계의 평균 제곱 오차(MSE)는 0.0101이었고, 소프트웨어 모델의 0.0112와 비교해 강력한 성능 유사성을 보였다.
• 45개의 테스트 포인트를 예측하는 데 총 시뮬레이션 시간은 3.96 ms였으며, 각 사이클은 88 µs 지속되어 실시간 가능성도 입증했다.
• 모든 입력이 1V일 때 최대 전력 소모는 210.67 mW였고, 각 LSTM 셀의 총 면적은 58,569 µm²였다.
• 전압 기반 활성화 함수와 신호 스케일링을 사용함으로써 전류 모드 설계 대비 회로 복잡도를 감소시키고 출력 예측 가능성을 향상시켰다.
• 서브사이클에 의도적으로 2 µs의 지연을 도입함으로써 수렴 문제를 방지하고 시간 단위 간 안정적인 계산을 보장했다.