[논문 리뷰] Self-boosted Time-series Forecasting with Multi-task and Multi-view Learning

Long Hoang Nguyen, Zhenhe Pan외 4명|arXiv (Cornell University)|2019. 09. 16.

Time Series Analysis and Forecasting인용 수 9

한 줄 요약

이 논문은 원시 시계열을 EEMD를 통해 내재 모드 함수(IMF)로 분해한 후, 밀접하게 관련된 IMF들에 대해 다중 작업 학습을, 느슨하게 관련된 IMF들에 대해 다중 시각 학습을 활용하여 예측 정확도를 향상시키는 자기 강화 시계열 예측 모델을 제안한다. 이 방법은 외부 특징 또는 도메인 지식 없이도 세 가지 실세계 데이터셋에서 최신 기술(SOTA) 모델을 초월하며, RMSE 값이 낮아 29.4% 평균 정확도 향상을 달성한다.

ABSTRACT

A robust model for time series forecasting is highly important in many domains, including but not limited to financial forecast, air temperature and electricity consumption. To improve forecasting performance, traditional approaches usually require additional feature sets. However, adding more feature sets from different sources of data is not always feasible due to its accessibility limitation. In this paper, we propose a novel self-boosted mechanism in which the original time series is decomposed into multiple time series. These time series played the role of additional features in which the closely related time series group is used to feed into multi-task learning model, and the loosely related group is fed into multi-view learning part to utilize its complementary information. We use three real-world datasets to validate our model and show the superiority of our proposed method over existing state-of-the-art baseline methods.

연구 동기 및 목표

• 외부 도메인 특화 특징이나 복잡한 초모수 조정에 의존하지 않고 정확한 시계열 예측을 달성하는 데 도전한다.
• 원시 시계열에서 파생된 내재 신호 성분을 활용하여 모델의 일반화 능력과 예측 성능을 향상시킨다.
• 다중 작업 학습과 다중 시각 학습을 통합된 프레임워크에 통합하여 관련성 있는 신호 성분과 보완적인 성분을 모두 활용한다.
• EEMD 분해를 통해 자가 생성된 특징이 다변량 시계열 예측을 위한 딥 러닝 모델 성능 향상에 기여하는지 입증한다.

제안 방법

• 원시 시계열을 다수의 내재 모드 함수(IMF)와 잔차로 분해하기 위해 Ensemble Empirical Mode Decomposition(EEMD) 알고리즘을 사용한다.
• 원시 시계열과의 유사도 기반으로 IMF들을 군집화하여, 다중 작업 학습에 적합한 밀접한 관련 그룹과 다중 시각 학습에 적합한 느슨한 관련 그룹으로 분류한다.
• 밀접하게 관련된 IMF들을 사용하여 다중 작업 학습 모델을 훈련시켜 표현을 공유하고 일반화 능력을 향상시킨다.
• 느슨하게 관련된 IMF들을 사용하여 다중 시각 학습 구성요소를 훈련시켜 별개의 신호 성분 간의 보완적 패턴을 포착한다.
• 다중 작업 및 다중 시각 구성요소를 공동 목적 함수를 사용해 동시 훈련시켜 예측 성능을 향상시킨다.
• k-means 군집화를 활용한 특징 선택을 적용하여 RMSE를 감소시키는 IMF들을 식별하고 유지함으로써 모델의 효율성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 EEMD 분해를 통해 자가 생성된 특징은 외부 데이터나 도메인 지식 없이도 시계열 예측 성능을 향상시킬 수 있는가?
• RQ2 분해된 신호 성분에 대해 다중 작업 및 다중 시각 학습을 결합할 경우, 단일 기반 모델에 비해 예측 정확도에 어떤 영향을 미치는가?
• RQ3 개별 내재 모드 함수(IMF)가 전체 모델 성능에 기여하는 비율은 어떻게 되며, 특징 선택이 성능 향상에 기여하는가?
• RQ4 제안된 자기 강화 메커니즘은 다양한 시계열 데이터셋에서 일관되게 최신 기술(SOTA) 모델을 초월하는가?

주요 결과

• 자기 강화 모델은 전기 소비, 실내 온도, 환율 데이터셋에서 각각 RMSE 값 91.1300, 1.5910, 0.0082를 기록하여 최고의 베이스라인 모델을 능가했다.
• 세 데이터셋 전반에 걸쳐 최고의 베이스라인 모델 대비 평균 29.4%의 RMSE 감소를 기록했으며, 특히 실내 온도 및 환율 데이터에서 가장 큰 향상이 관찰되었다.
• 다중 작업 학습 변형(MTL)만으로도 전체 자기 강화 모델보다 성능이 열 劣하므로, 다중 시각 학습이 성능 향상에 기여한다는 점을 확인할 수 있었다.
• 다중 시각 학습 변형(MTV)은 시간 지연 1에서 전체 모델과 유사한 성능를 보였지만, 더 긴 지연에서는 성능이 열 劣하여 공동 훈련의 이점이 확인되었다.
• RMSE 계수 분석 결과 일부 IMF들이 성능에 악영향을 미쳤으며, 이러한 IMF들을 특징 선택을 통해 제거함으로써 모델의 효율성과 정확도가 향상되었다.
• 모델 성능은 IMF를 일정 수준까지 포함할 경우 향상되나, 더 많은 IMF를 추가할수록 성능 저하가 발생함을 확인하여 지능적인 IMF 선택의 필요성을 입증했다.