[논문 리뷰] Long-term Forecasting using Higher Order Tensor RNNs

Rose Yu, Stephan Zheng외 2명|arXiv (Cornell University)|2017. 10. 31.

Tensor decomposition and applications참고 문헌 36인용 수 74

한 줄 요약

HOT-RNN은 비마코프(non-Markovian), 비선형 동역학을 모델링하기 위해 텐서-트레인 분해를 활용한 고차 순환 신경망을 도입하여 장기 예측을 수행하고, 합성 데이터와 실제 데이터에서 표준 RNN/LSTM 대비 5-12%의 향상을 달성합니다.

ABSTRACT

We present Higher-Order Tensor RNN (HOT-RNN), a novel family of neural sequence architectures for multivariate forecasting in environments with nonlinear dynamics. Long-term forecasting in such systems is highly challenging, since there exist long-term temporal dependencies, higher-order correlations and sensitivity to error propagation. Our proposed recurrent architecture addresses these issues by learning the nonlinear dynamics directly using higher-order moments and higher-order state transition functions. Furthermore, we decompose the higher-order structure using the tensor-train decomposition to reduce the number of parameters while preserving the model performance. We theoretically establish the approximation guarantees and the variance bound for HOT-RNN for general sequence inputs. We also demonstrate 5% ~ 12% improvements for long-term prediction over general RNN and LSTM architectures on a range of simulated environments with nonlinear dynamics, as well on real-world time series data.

연구 동기 및 목표

• 비선형 동역학과 강한 시간적 의존성을 갖는 시스템에서 장기 예측의 필요성을 제시한다.
• 더 긴 시퀀스에서 더 높은 차수의 상태 상호작용을 포착하는 고차 RNN 아키텍처를 개발한다.
• 성능 저하 없이 텐서-train 분해를 통해 모델 복잡성을 감소시킨다.
• HOT-RNN의 표현력과 추정 분산에 대한 이론적 보장을 제공한다.
• 합성 및 실제 시계열에서 기준 모델에 비해 경험적 향상을 보여준다.

제안 방법

• 보강된 상태 s_t에 L개의 과거 은닉 상태를 보관하여 고차 기억을 도입한다.
• 숨겨진 상태의 다항 상호 작용을 P차 전이 텐서 W를 통해 모델링하여 비선형 동역학을 포착한다.
• W에 텐서-트레인 분해를 적용하여 매개변수 수를 O((HL+1)^P)에서 O(HLR^2P)로 감소시킨다.
• 엔코더-디코더 장기 예측을 위한 시퀀스-투-시퀀스 프레임워크(HOT-LSTM)에 HOT-RNN을 통합한다.
• 이론적 결과를 제공한다: 근사 보장(Theorem 1)과 추정 분산 한계(Theorem 2).
• 실험을 위해 HOT-RNN 내에 LSTM 셀이 포함된 시퀀스-투-시퀀스 아키텍처를 사용하는 학습 설정을 사용한다.

실험 결과

연구 질문

• RQ1 HOT-RNN이 긴 시간 기억을 갖는 비선형의 고차 동역학을 근사할 수 있는가?
• RQ2 고차 상호작용과 텐서-트레인 압축이 표준 RNN과 LSTM에 비해 장기 예측을 향상시키는가?
• RQ3 표현력과 매개변수 효율성의 트레이드오프는 어떠하며, 그것을 뒷받침하는 이론적 보장은 무엇인가?
• RQ4 합성 Genz 동역학과 실제 트래픽 및 기후 데이터에서 관찰된 개선이 구간 전반에 걸쳐 통계적으로 유의한가?

주요 결과

• HOT-RNN은 시뮬레이션된 비선형 동역학과 실제 시계열 모두에서 일반 RNN과 LSTM에 비해 장기 예측에서 5-12% 향상을 달성한다.
• 고차 다항식과 텐서-트레인 표현을 갖는 정규성 조건을 만족하는 함수에 대해 표준 RNN에 비해 지수적으로 더 표현력이 있다.
• 텐서-트레인 분해는 상관 구조를 유지하면서 매개변수를 O((HL+1)^P)에서 O(HLR^2P)로 대폭 감소시킨다.
• HOT-LSTM은 장기 정확도에서 베이스라인보다 우수하며 시간이 지남에 따라 오차 전파가 더 안정적이다.
• Genz 다이나믹스, 트래픽 및 기후 데이터 세트에 대한 실험은 강건한 장기 예측 향상을 보여주며 베이스라인과 유사한 매개변수 수를 나타낸다.