[논문 리뷰] Towards Better Forecasting by Fusing Near and Distant Future Visions

Jiezhu Cheng, Kaizhu Huang외 1명|arXiv (Cornell University)|2019. 12. 11.

Behavioral Health and Interventions참고 문헌 28인용 수 4

한 줄 요약

이 논문은 다수의 예측 작업을 공동으로 모델링하고 스케일에 강건한 특성을 확보하기 위해 자동회귀 성분을 통합함으로써, 다수의 예측 작업을 공동으로 모델링하고 스케일에 강건한 특성을 확보하기 위해 자동회귀 성분을 통합함으로써, 다변량 시계열 예측 성능을 향상시키기 위해 근접 및 원거리 미래 예측을 융합하는 공유 인코더-디코더 아키텍처를 채택한 다중 작업 딥러닝 프레임워크인 멀티레벨 구성 이론 신경망(Multi-Level Construal Neural Network, MLCNN)을 제안한다. 이 모델은 세 개의 실세계 데이터셋에서 평균 4.59%의 RMSE 감소와 평균 6.87%의 MAE 감소를 달성하여 최신 기준 성능(SOTA)을 확보한다.

ABSTRACT

Multivariate time series forecasting is an important yet challenging problem in machine learning. Most existing approaches only forecast the series value of one future moment, ignoring the interactions between predictions of future moments with different temporal distance. Such a deficiency probably prevents the model from getting enough information about the future, thus limiting the forecasting accuracy. To address this problem, we propose Multi-Level Construal Neural Network (MLCNN), a novel multi-task deep learning framework. Inspired by the Construal Level Theory of psychology, this model aims to improve the predictive performance by fusing forecasting information (i.e., future visions) of different future time. We first use the Convolution Neural Network to extract multi-level abstract representations of the raw data for near and distant future predictions. We then model the interplay between multiple predictive tasks and fuse their future visions through a modified Encoder-Decoder architecture. Finally, we combine traditional Autoregression model with the neural network to solve the scale insensitive problem. Experiments on three real-world datasets show that our method achieves statistically significant improvements compared to the most state-of-the-art baseline methods, with average 4.59% reduction on RMSE metric and average 6.87% reduction on MAE metric.

연구 동기 및 목표

• 기존 모델이 단일 미래 시점 예측만을 수행하고 서로 다른 시간 거리에서의 예측 간 상호작용을 활용하지 못하는 한계를 해결하기 위해.
• 심리학적 인간 예측 이론인 구성 수준 이론(Construal Level Theory)을 기반으로 근접 및 원거리 미래의 다양한 시야를 융합하여 정확도를 향상시키기 위해.
• 다양한 예측 작업 간 공유 표현을 유지하면서도 모델 효율성과 강건성을 확보하는 딥러닝 아키텍처를 설계하기 위해.
• 신경망 기반 시계열 예측에서 스케일에 민감한 문제를 해결하기 위해 전통적인 자동회귀 모델과 비선형 신경망 성분을 통합하기 위해.

제안 방법

• 모델은 근접 및 원거리 미래 예측 수준에서 다양한 미래 시점 수준에 대해 원시 시계열 데이터로부터 계층적 추상 표현을 추출하기 위해 다중 수준 컨볼루션 신경망(Multi-level CNN)을 사용한다.
• 공유된 장기 단기 기억(LSTM) 네트워크가 근접 및 원거리 미래 예측 간 상호작용을 포괄하는 융합 인코더로 기능한다.
• 전용 주요 LSTM이 공유 특징을 사용하여 목표 시점의 주요 예측을 생성하는 디코더로 기능한다.
• 신경망에 자동회귀 성분을 통합하여 입력 스케일 변동에 대한 강건성을 향상시킨다.
• 모델의 다양한 작업 간 CNN 및 LSTM 구성 요소에 파라미터 공유를 적용하여 모델 효율성과 복잡도를 감소시킨다.
• 다양한 미래 시점 예측을 동시에 최적화하는 다중 작업 학습 목적함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 근접 및 원거리 미래의 다양한 시간 수준에서의 예측을 융합하면 주요 예측 작업의 정확도가 향상되는가?
• RQ2 공유 표현을 통해 다양한 미래 시야 간의 상호작용을 모델링함으로써 다변량 시계열 예측에서 일반화 성능이 향상되는가?
• RQ3 심리학적 구성 수준 이론을 기반으로 한 다중 수준 추상화 메커니즘을 통합할 경우 예측 성능 향상 정도는 어느 정도인가?
• RQ4 신경망과 자동회귀 성분을 융합함으로써 딥러닝 기반 시계열 예측에서 스케일 민감성 문제가 완화되는가?
• RQ5 제안된 MLCNN 아키텍처는 하이퍼파rameter 변화나 데이터셋 크기 변화에 대해 얼마나 강건한가?

주요 결과

• MLCNN는 세 개의 실세계 데이터셋에서 모든 최신 기준 기준 모델(SOTA)보다 통계적으로 유의미한 성능 향상을 달성했으며, 평균 RMSE는 4.59% 감소하고 평균 MAE는 6.87% 감소했다.
• 완전한 MLCNN 모델은 모든 변형보다 뛰어나며, 다중 수준 추상화, 공유 융합 인코더, 주요 디코더, 자동회귀 통합 구성 요소가 성능 향상에 기여한다는 것을 입증했다.
• 자기회귀 성분을 제거한 MLCNN-nA 버전은 성능 저하가 가장 심각했으며, 스케일 불변 모델링의 중요성을 확인했다.
• LSTNet 및 그 변형 모델 대비 하이퍼파ram터 변화에 더 낮은 분산과 더 높은 강건성을 보이며 안정적인 일반화 성능을 확보했다.
• 다중 작업 설계에도 불구하고 기존 기준 모델과 유사한 훈련 및 추론 시간을 유지하여 효율성을 입증했다.
• 제거 실험(ablation study) 결과, 공유 융합 인코더와 다중 수준 추상화가 성능 향상에 필수적임을 확인했으며, 이들의 제거는 일관되고 심각한 정확도 저하를 초래했다.