[논문 리뷰] EA-LSTM: Evolutionary Attention-based LSTM for Time Series Prediction

Youru Li, Zhenfeng Zhu외 3명|arXiv (Cornell University)|2018. 11. 09.

Time Series Analysis and Forecasting참고 문헌 22인용 수 23

한 줄 요약

이 논문은 경쟁적 랜덤 탐색(CRS)을 통해 훈련되는 진화적 주의 기반 LSTM 모델인 EA-LSTM을 제안한다. 이는 다변량 시계열 예측 성능을 향상시키기 위한 것이다. 경사 하강법이 아닌 CRS를 통해 주의 가중치를 진화시킴으로써 장기적 의존성과 국소적 특징 관계를 효과적으로 포착할 수 있으며, SML 2010 및 MSR Action3D를 포함한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Time series prediction with deep learning methods, especially long short-term memory neural networks (LSTMs), have scored significant achievements in recent years. Despite the fact that the LSTMs can help to capture long-term dependencies, its ability to pay different degree of attention on sub-window feature within multiple time-steps is insufficient. To address this issue, an evolutionary attention-based LSTM training with competitive random search is proposed for multivariate time series prediction. By transferring shared parameters, an evolutionary attention learning approach is introduced to the LSTMs model. Thus, like that for biological evolution, the pattern for importance-based attention sampling can be confirmed during temporal relationship mining. To refrain from being trapped into partial optimization like traditional gradient-based methods, an evolutionary computation inspired competitive random search method is proposed, which can well configure the parameters in the attention layer. Experimental results have illustrated that the proposed model can achieve competetive prediction performance compared with other baseline methods.

연구 동기 및 목표

• 긴 시퀀스에서 관련 시간 단계 특징에 대해 동적으로 주의를 기울일 수 있는 표준 LSTM의 한계를 해결한다.
• 주의 레이어를 훈련할 때 경사 기반 최적화가 局부 최소값에 갇힐 위험을 줄인다.
• 시간적 중요도 패턴을 반영하는 주의 가중치를 진화시켜 다변량 시계열 예측 성능을 향상시킨다.
• 특히 진화 계산 기반 훈련 방법이 아키텍처 복잡성 외에도 주의 기반 딥 러닝 모델의 성능을 향상시킬 수 있음을 입증한다.
• 시계열 데이터를 위한 순차적 신경망의 하위구조 훈련에서 진화 계산의 효과성을 검증한다.

제안 방법

• 백프로파게이션을 통해 학습하는 대신 진화된 주의 가중치를 사용하는 진화적 주의 메커니즘을 LSTMs에 도입한다.
• 기울기 의존 없이 주의 레이어 파라미터를 최적화하기 위해 진화 계산 방법인 경쟁적 랜덤 탐색(CRS)을 활용한다.
• 시간 단계 간 공유 파라미터를 전달하여 시퀀스 전반에 걸쳐 일관된 주의 학습을 가능하게 한다.
• 선택 및 돌연변이와 같은 진화 연산을 위해 주의 가중치 벡터를 이진 표현으로 인코딩한다.
• 반복적인 진화 과정을 사용한다: 네트워크 성능을 통해 후보 주의 가중치 평가, 상위 성능자(챔피언) 선별, 재조합 및 돌연변이를 통해 신규 세대 생성.
• 진화된 주의 가중치를 LSTMs 아키텍처에 통합하여 시퀀스 모델링 이전에 가중치가 부여된 입력 표현을 생성한다.

실험 결과

연구 질문

• RQ1 경사 기반 최적화와 비교해 진화 계산이 LSTMs의 주의 메커니즘 훈련을 시계열 예측에 어떻게 향상시킬 수 있는가?
• RQ2 주의 가중치를 진화시키는 것이 다변량 시계열에서 장기적 및 국소적 시간 의존성을 더 잘 포착할 수 있는가?
• RQ3 EA-LSTM는 DA-RNN 및 표준 주의-LSTM과 같은 최신 기술 수준의 모델과 비교해 예측 정확도에서 어떻게 성과를 내는가?
• RQ4 제안된 방법은 회귀 및 분류를 포함한 다양한 시계열 작업에 일반화될 수 있는가?
• RQ5 경쟁적 랜덤 탐색 방법은 주의 레이어 파라미터 최적화 과정에서 局부 최소값을 피하는 데 효과적인가?

주요 결과

• MSR Action3D 데이터셋에서 EA-LSTM는 테스트 정확도 95.20%를 달성하여 베이스라인 LSTM(90.67%)과 주의-LSTM(92.58%)을 모두 초월했다.
• SML 2010 벤치마크에서 EA-LSTM는 최신 기술 수준의 주의 기반 모델인 DA-RNN보다 더 높은 예측 정밀도를 보였다.
• 제거 실험 결과, 주의 레이어에서 CRS를 기울기 하강법으로 대체한 경우(Attention-LSTM로 변형) 성능 저하가 심각하게 발생하여 진화 최적화의 유용성을 입증했다.
• 시간 단계 간 주의 분포는 입력 동역학에 따라 적응적인 소프트 특징 선택을 보였으며, 정보가 많은 특징에 더 높은 주의를 기울였다.
• 다양한 데이터셋에서 경쟁적인 성능을 달성하여 회귀 및 분류 시계열 작업 전반에 걸쳐 뛰어난 견고성을 입증했다.
• 결과적으로, 아키텍처 복잡성 외에도 특히 진화 계산을 통한 훈련 방법 개선이 주의 기반 모델의 성능 향상에 효과적임을 시사한다.