[논문 리뷰] Learning Deep Time-index Models for Time Series Forecasting

Gerald Woo, Chenghao Liu외 3명|arXiv (Cornell University)|2022. 07. 13.

Time Series Analysis and Forecasting인용 수 14

한 줄 요약

이 논문은 훈련 시간 단계를 초월한 일반화를 가능하게 하기 위해 훈련을 내부 루프와 외부 루프로 분할함으로써 시계열 예측을 위한 딥 타임-인덱스 모델을 학습하는 메타최적화 프레임워크인 DeepTime를 제안한다. 암시적 신경 표현과 새로운 연결된 푸리에 특징 모듈을 활용함으로써 높은 효율성과 함께 최신 기술 수준의 성능을 달성하며, 기존의 순수한 딥 타임-인덱스 모델의 외삽 실패 문제를 해결한다.

ABSTRACT

Deep learning has been actively applied to time series forecasting, leading to a deluge of new methods, belonging to the class of historical-value models. Yet, despite the attractive properties of time-index models, such as being able to model the continuous nature of underlying time series dynamics, little attention has been given to them. Indeed, while naive deep time-index models are far more expressive than the manually predefined function representations of classical time-index models, they are inadequate for forecasting, being unable to generalize to unseen time steps due to the lack of inductive bias. In this paper, we propose DeepTime, a meta-optimization framework to learn deep time-index models which overcome these limitations, yielding an efficient and accurate forecasting model. Extensive experiments on real world datasets in the long sequence time-series forecasting setting demonstrate that our approach achieves competitive results with state-of-the-art methods, and is highly efficient. Code is available at https://github.com/salesforce/DeepTime.

연구 동기 및 목표

• 기본적인 딥 타임-인덱스 모델에서의 일반화 부족 문제를 해결하기 위해, 훈련 시간 단계에 과적합되고 예측 가능한 수준을 초월해 외삽하지 못하는 문제를 해결한다.
• 깊이 신경망의 표현력과 시계열 예측에서 신뢰할 수 있는 외삽을 위해 필요한 인덕티브 바이어스를 결합한다.
• 표준 이중 최적화 기반 메타학습에서 발생하는 불안정성과 높은 계산 비용을 피하면서도 계산 효율적인 프레임워크를 개발한다.
• 선형 추세나 주기적 함수와 같은 수동으로 정의된 구성 요소에 의존하지 않고, 유연하고 데이터 기반의 함수 형태를 종합적으로 학습할 수 있도록 한다.
• 시계열 역학의 연속적이고 부드러운 표현을 학습함으로써 장기 예측 시계열에서의 예측 성능을 향상시킨다.

제안 방법

• 학습 과정을 내부 루프(최근 시간 단계에서의 표준 지도 학습)와 외부 루프(외삽을 위한 인덕티브 바이어스를 학습하는 메타최적화)로 분할한다.
• 외부 루프에서 폐쇄형 리지 회귀기(ridge regressor)를 사용하여 모델 파라미터를 효율적으로 업데이트함으로써 계산 비용을 줄이고 학습 안정성을 향상시킨다.
• 암시적 신경 표현(INRs)을 사용하여 타임-인덱스 함수를 매개변수화함으로써 시계열 역학의 연속적 모델링을 가능하게 한다.
• 새로운 연결된 푸리에 특징 모듈을 도입하여 고주파 패턴을 광범위한 초모델 조정 없이 효율적으로 포착한다.
• 다양한 봉쇄 윈도우를 고려한 테스트 손실을 최소화하는 메타최적화 목표를 사용하여, 예측 가능한 시간 단계에 대한 강건성을 유도한다.
• 기본 파라미터를 INR의 마지막 레이어에 국한시켜 훈련 안정성 향상과 메타학습에서의 기억 현상 방지를 위한 유용한 인덕티브 사전 지식을 제공한다.

실험 결과

연구 질문

• RQ1 인덕티브 바이어스가 없는 상태에서 딥 타임-인덱스 모델이 예측 가능한 시간 단계에 일반화될 수 있는가?
• RQ2 메타최적화를 시계열 예측에 효율적으로 적용하여 불안정성과 높은 계산 비용 없이 강력한 인덕티브 바이어스를 학습할 수 있는가?
• RQ3 사전 정의된 함수를 사용하는 전통적인 타임-인덱스 모델보다 데이터 기반의 신경망 기반 타임-인덱스 모델이 장기 예측에서 성능이 뛰어나게 되는가?
• RQ4 작업의 비독립성과 기억 현상으로 인해 메타학습된 타임-인덱스 모델에서 일정 시간 특징이 성능을 떨어뜨리는 정도는 어느 정도인가?
• RQ5 암시적 신경 표현과 푸리에 특징을 갖춘 단순한 모델 아키텍처가 복잡한 최신 기술 수준의 모델과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• DeepTime는 실제 장기 시퀀스 데이터셋에서 최신 기술 수준의 방법들과 비교해도 경쟁력 있는 예측 성능을 달성하며, 더 단순한 아키텍처임에도 불구하고 성능을 뛰어넘거나 동등하게 유지한다.
• 메타최적화 프레임워크는 필수적이다: 이를 제거하면 일정 시간 특징이 있음에도 불구하고 일반화 능력이 열악해지며, 메타학습에서의 기억 현상으로 인해 오히려 성능이 떨어진다.
• 외부 루프에서 폐쇄형 리지 회귀기를 사용함으로써 안정적이고 효율적인 학습이 가능하며, 복잡한 전체 MAML보다도 성능이 뛰어나다.
• 연결된 푸리에 특징 모듈은 표준 무작위 푸리에 특징에 대한 광범위한 초모델 조정보다 동일하거나 더 우수한 성능을 보이며, 고주파 패턴 학습을 향상시킨다.
• DeepTime는 런타임과 메모리 사용 측면에서 매우 효율적이며, 추론 속도와 메모리 소비 측면에서 조차도 효율적인 트랜스포머 기반 모델을 능가한다.
• 모델은 장기 예측 수준에서 강력한 일반화 능력을 보이며, 기본적인 딥 타임-인덱스 모델이 실패하는 훈련 시간 창을 초월해도 성공적으로 외삽한다.