[논문 리뷰] Explainable Tensorized Neural Ordinary Differential Equations forArbitrary-step Time Series Prediction

Penglei Gao, Xi Yang외 2명|arXiv (Cornell University)|2020. 11. 26.

Stock Market Forecasting Methods참고 문헌 17인용 수 5

한 줄 요약

이 논문은 임의의 시간점에서 多변량 시간열 예측을 위한 연속시간 딥러닝 프레임워크인 설명 가능한 텐서라이제이션 신경 ODE(ETN-ODE)를 제안한다. 텐서라이제이션 GRU와 ODE 기반 잠재 동역학 모델, 그리고 투 tandem 주의 메커니즘을 결합함으로써 ETN-ODE는 정확하고 해석 가능한 다단계 예측을 가능하게 하며, 명시적인 시간적 및 변수 수준의 주의 해석 가능성을 제공한다. 이는 표준 및 임의의 단계 예측 작업 모두에서 기존 방법들을 능가한다.

ABSTRACT

We propose a continuous neural network architecture, termed Explainable Tensorized Neural Ordinary Differential Equations (ETN-ODE), for multi-step time series prediction at arbitrary time points. Unlike the existing approaches, which mainly handle univariate time series for multi-step prediction or multivariate time series for single-step prediction, ETN-ODE could model multivariate time series for arbitrary-step prediction. In addition, it enjoys a tandem attention, w.r.t. temporal attention and variable attention, being able to provide explainable insights into the data. Specifically, ETN-ODE combines an explainable Tensorized Gated Recurrent Unit (Tensorized GRU or TGRU) with Ordinary Differential Equations (ODE). The derivative of the latent states is parameterized with a neural network. This continuous-time ODE network enables a multi-step prediction at arbitrary time points. We quantitatively and qualitatively demonstrate the effectiveness and the interpretability of ETN-ODE on five different multi-step prediction tasks and one arbitrary-step prediction task. Extensive experiments show that ETN-ODE can lead to accurate predictions at arbitrary time points while attaining best performance against the baseline methods in standard multi-step time series prediction.

연구 동기 및 목표

• 기존 모델들이 단일변량 또는 단일단계 다변량 예측은 다루지만, 임의의 시간점에서의 다변량 다단계 예측을 다루지 못하는 격차를 보완하기 위해.
• 저주파수 학습 데이터에서 고주파 예측을 가능하게 하는 연속시간 신경망 아키텍처를 개발하기 위해.
• 예측에 기여하는 변수별 및 시간적 기여도를 포괄하는 투 tandem 주의 메커니즘을 도입함으로써 모델의 해석 가능성 향상하기 위해.
• 표준 다단계 및 임의의 단계 시간열 예측을 모두 지원하는 통합 프레임워크를 제공하여 정확도와 해석 가능성 향상시키기 위해.

제안 방법

• ETN-ODE는 다변량 시간열을 인코딩하기 위해 텐서라이제이션 게이팅 순환 단위(TGRU)를 사용하며, 은닉 상태를 행렬로 표현하여 특징별 역학을 포착한다.
• 잠재 상태의 도함수는 신경망에 의해 매개변수화되어, 임의의 단계 예측을 가능하게 하는 연속시간 ODE 시스템을 형성한다.
• 투 tandem 주의 메커니즘이 도입되며, 이는 역사적 기여도를 위한 시간 주의와 특징 중요도를 위한 변수 주의를 결합하여 적응형 컨텍스트 벡터를 생성한다.
• tandem 주의에서 생성된 컨텍스트 벡터는 ODE 해법기의 초기 조건으로 사용되어, 임의의 시간 간격 동안 연속적인 예측을 가능하게 한다.
• 모델은 정규화와 노이즈 주입을 통한 강건성 향상을 위해 음의 로그우도 손실을 사용하여 훈련된다.
• 예측은 학습된 초기 상태에서부터 원하는 미래 시간점까지 ODE를 해석함으로써 수행된다.

실험 결과

연구 질문

• RQ1 연속시간 신경망 아키텍처가 고정 단계 예측을 넘어서, 임의의 미래 시간점에서 정확한 다변량 시간열 예측을 달성할 수 있는가?
• RQ2 다변량 시간열에 대해 연속시간 모델에 효과적으로 해석 가능성을 통합할 수 있는가, 특히 핵심 기여 변수와 시간 창을 식별하는 데서?
• RQ3 시간 주의와 변수 주의를 결합한 제안된 tandem 주의 메커니즘이, 표준 주의 또는 풀링 방법에 비해 예측 성능과 모델 해석 가능성을 향상시키는가?
• RQ4 텐서라이제이션 GRU는 더 적은 파라미터와 더 빠른 수렴을 통해 표준 RNN 또는 LSTM보다 다변량 역학을 얼마나 잘 모델링하는가?

주요 결과

• ETN-ODE는 다섯 개인실 세계 데이터셋에서 표준 다단계 및 임의의 단계 예측 작업 모두에서 최신 기술 수준의 성능을 달성한다.
• 제거 실험 결과에서 ODE 모듈이나 tandem 주의를 제거할 경우 성능이 크게 떨어지며, 이는 이들 구성 요소의 필수성을 입증한다.
• tandem 주의 메커니즘은 의미 있는 해석 가능성을 제공한다: 변수 주의는 핵심 입력 특징(예: SML2010에서의 온도와 CO2)을 강조하며, 시간 주의는 장기 예측이 역사적 자료에 더 의존함을 보여준다.
• 모델은 하이퍼파ram터 변화에 대해 강건하며, 노이즈 수준과 은닉 차원 설정에 관계없이 성능이 안정적이나, Nasdaq100과 같은 고차원 데이터셋에서는 예외적으로 영향을 받는다.
• 텐서라이제이션 GRU는 유사한 아키텍처 설계에도 불구하고 더 적은 파라미터와 더 빠른 수렴을 통해 텐서라이제이션 LSTM보다 성능이 뛰어나다.
• ODE 구성 요소는 임의의 단계 예측에 필수적이다; 이를 제거할 경우 모델은 이산 시간점으로 제한되어 고주파 예측 시나리오에서의 유연성이 떨어진다.