[논문 리뷰] Hierarchical Attention-Based Recurrent Highway Networks for Time Series Prediction

Yunzhe Tao, Lin Ma외 4명|arXiv (Cornell University)|2018. 06. 02.

Time Series Analysis and Forecasting참고 문헌 23인용 수 22

한 줄 요약

이 논문은 계층적 어텐션 기반 순환 하이퍼넷워크(HRHN)를 제안한다. 이는 외생 변수의 시공간적 특징 추출과 목표 변수의 시간 동적 특징 모델링을 컨볼루션 네트워크(ConvNet)와 순환 하이퍼넷워크(RHN)를 통해 통합한 엔드 투 엔드 딥 러닝 모델이며, 다양한 의미 수준에서 관련 특징을 적응적으로 선택할 수 있도록 계층적 어텐션 메커니즘으로 강화되었다. HRHN은 시간 시리즈 예측에서 최신 기술을 초월하며, 돌연한 변화와 진동을 잘 포착하는 데서 두각을 나타낸다.

ABSTRACT

Time series prediction has been studied in a variety of domains. However, it is still challenging to predict future series given historical observations and past exogenous data. Existing methods either fail to consider the interactions among different components of exogenous variables which may affect the prediction accuracy, or cannot model the correlations between exogenous data and target data. Besides, the inherent temporal dynamics of exogenous data are also related to the target series prediction, and thus should be considered as well. To address these issues, we propose an end-to-end deep learning model, i.e., Hierarchical attention-based Recurrent Highway Network (HRHN), which incorporates spatio-temporal feature extraction of exogenous variables and temporal dynamics modeling of target variables into a single framework. Moreover, by introducing the hierarchical attention mechanism, HRHN can adaptively select the relevant exogenous features in different semantic levels. We carry out comprehensive empirical evaluations with various methods over several datasets, and show that HRHN outperforms the state of the arts in time series prediction, especially in capturing sudden changes and sudden oscillations of time series.

연구 동기 및 목표

• 기존 시간 시리즈 모델이 외생 변수 간의 상호작용과 그 시간 동적 특징을 모델링하지 못하는 한계를 해결하기 위해.
• 특히 돌연한 변화나 진동 기간 동안 외생 데이터와 목표 시리즈 간의 복잡한 상관관계를 포착함으로써 예측 정확도를 향상시키기 위해.
• 외생 구성 요소 간의 공간적 관계와 장기적인 시간적 의존성을 모두 모델링하는 통합 프레임워크를 개발하기 위해.
• 미래의 외생 입력이 필요 없이 과거의 외생 데이터와 역사적 관측치만을 사용하여 신뢰할 수 있는 미래 예측을 가능하게 하기 위해.
• 시간 표현의 여러 의미 수준에서 관련 특징을 선택할 수 있도록 계층적 어텐션 메커니즘을 설계하기 위해.

제안 방법

• 각 시간 단계에서 외생 변수의 다양한 구성 요소 간의 공간적 상관관계를 추출하기 위해 컨볼루션 네트워크(ConvNet)를 사용한다.
• 외생 및 목표 시리즈의 시간 동적 특징을 모델링하기 위해 순환 하이퍼넷워크(RHN)를 활용하여 잔차 연결을 통해 깊고 계층적인 표현을 가능하게 한다.
• RHN 인코더의 여러 층에 걸쳐 계층적 어텐션 메커니즘을 적용하여 예측에 가장 관련성이 높은 시공간적 특징을 동적으로 선택한다.
• 인코더-디코더 아키텍처가 역사를 기반으로 한 관측치와 과거 외생 데이터를 처리하여 엔드 투 엔드 방식으로 미래 시간 시리즈 예측을 생성한다.
• 표준 시퀀스 투 시퀀스 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시키며, 어텐션 가중치는 RHN의 중간 은닉 상태를 기반으로 계산된다.
• 입력 윈도우 크기와 반복 깊이를 변화시켜 파라미터 민감도를 평가하여 다양한 설정에서의 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 심층 신경망은 외생 입력이 있는 다변량 시간 시리즈에서 공간적 및 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 계층적 어텐션 메커니즘이 외생 및 목표 데이터의 관련 의미 수준 표현에 집중함으로써 예측 성능을 향상시키는가?
• RQ3 제안된 모델은 기존 최신 기술 대비 성능을 뛰어넘을 수 있는가, 특히 시간 시리즈의 돌연한 변화와 진동을 예측하는 데서?
• RQ4 입력 윈도우 크기와 반복 깊이와 같은 하이퍼파라미터의 변화에 대해 모델 성능가 민감한가?
• RQ5 다양한 특성과 노이즈 수준을 가진 다양한 시간 시리즈 데이터셋에 대해 일반화 가능한가?

주요 결과

• HRHN은 모든 지표와 데이터셋에서 DA-RNN과 단일 RHN을 모두 압도하며, RMSE, MAE, MAPE에서 통계적으로 유의미한 향상을 보였다.
• RHN + ConvNet 버전은 항상 DA-RNN과 단일 RHN을 뛰어넘었으며, 외생 구성 요소 간의 공간적 상호작용을 모델링하는 데서 그 가치를 입증했다.
• 계층적 어텐션 메커니즘이 RHN 및 RHN + ConvNet보다 성능을 추가로 향상시켜, 다양한 의미 수준에서 정보가 풍부한 특징을 선택하는 데서 그 효과를 확인했다.
• 모델은 높은 내구성을 보였으며, 다양한 윈도우 크기와 반복 깊이에서 성능 변동이 2% 미만이었고, 안정적인 일반화 능력을 나타냈다.
• HRHN은 시간 시리즈의 돌연한 변화와 진동을 포착하는 데 특히 효과적이었으며, 이는 기존 방법에 비해 핵심적인 장점이었다.
• 제거 실험을 통해 RHN의 중간 층이 유용한 정보를 포함하고 있음을 확인했고, 계층적 어텐션 메커니즘이 이를 성공적으로 활용하여 예측 성능을 향상시켰다.