[논문 리뷰] UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

Xu Liu, Junfeng Hu외 5명|arXiv (Cornell University)|2023. 10. 15.

Stock Market Forecasting Methods인용 수 6

한 줄 요약

UniTime는 도메인 지시, 언어-TS 트랜스포머, 적응형 마스킹을 통해 도메인 특화 데이터 특성, 도메인 혼동, 수렴 속도 불균형 문제를 해결하는 통합된 언어 기반 트랜스포머 모델을 제안한다. 이는 에너지, 기상, 경제 등 다양한 도메인에서 최고 수준의 성능과 강력한 제로샷 일반화 성능을 달성한다.

ABSTRACT

Multivariate time series forecasting plays a pivotal role in contemporary web technologies. In contrast to conventional methods that involve creating dedicated models for specific time series application domains, this research advocates for a unified model paradigm that transcends domain boundaries. However, learning an effective cross-domain model presents the following challenges. First, various domains exhibit disparities in data characteristics, e.g., the number of variables, posing hurdles for existing models that impose inflexible constraints on these factors. Second, the model may encounter difficulties in distinguishing data from various domains, leading to suboptimal performance in our assessments. Third, the diverse convergence rates of time series domains can also result in compromised empirical performance. To address these issues, we propose UniTime for effective cross-domain time series learning. Concretely, UniTime can flexibly adapt to data with varying characteristics. It also uses domain instructions and a Language-TS Transformer to offer identification information and align two modalities. In addition, UniTime employs masking to alleviate domain convergence speed imbalance issues. Our extensive experiments demonstrate the effectiveness of UniTime in advancing state-of-the-art forecasting performance and zero-shot transferability.

연구 동기 및 목표

• 각 도메인에 맞는 전용 모델이 필요 없이 다양한 적용 도메인 간 일반화가 가능한 통합된 시계열 예측 모델을 개발하는 것.
• 다양한 도메인 간 데이터 특성의 다양성(예: 변수 수, 시퀀스 길이)에 대응하는 것.
• 자연어 지시를 통해 모델이 서로 다른 시계열 분포를 구분할 수 있도록 하여 도메인 혼동을 완화하는 것.
• 다른 동역학을 가진 도메인 간 수렴 속도 불균형 문제를 해결하기 위해 수렴 안정성을 높이는 마스킹 전략을 도입하는 것.
• 미세조정 없이도 효과적인 제로샷 전이 학습을 가능하게 하기 위해 지시 기반 일반화를 활용하는 것.

제안 방법

• UniTime는 시계열 토큰과 자연어 도메인 지시를 동시에 인코딩하여 모odal 표현을 정렬하는 언어-TS 트랜스포머를 활용한다.
• 모델이 서로 다른 시계열 도메인을 구분하고 특징 정렬을 향상시키기 위해 도메인 특화 지시를 입력 컨텍스트로 사용한다.
• 학습 중 마스킹 전략을 적용하여 다양한 시간 동역학과 학습 속도를 가진 도메인 간 수렴 안정성을 확보한다.
• 언어 인코더에 사전 훈련된 GPT-2 가중치를 활용하여 지시 이해에 강력한 인덕티브 바이어스를 제공한다.
• 추론 시점에 지침 선택 프로토콜을 사용하여 테스트 샘플의 소량에 대해 성능을 평가하고, 훈련 데이터에서 가장 적합한 지침을 선별한다.
• 모델은 다양한 채널 수와 시퀀스 길이를 가진 시계열에 적응할 수 있도록 유연한 입력 차원을 지원한다.

Figure 1. (a) Specialized models are separately trained on time series domains with notable distribution differences. For instance, weather time series constantly fluctuate due to the chaotic influence of natural factors, while economic data, such as exchange rates, tends to remain relatively stable

실험 결과

연구 질문

• RQ1 다양한 데이터 특성을 가진 다양한 도메인 간 효과적인 일반화가 가능한 통합된 시계열 예측 모델인가?
• RQ2 자연어 지시를 통합함으로써 교차 도메인 시계열 예측에서 모델 성능 향상과 도메인 식별 능력 향상에 어떤 기여를 하는가?
• RQ3 마스킹 전략이 다양한 시간 동역학을 가진 도메인 간 수렴 속도 불균형을 어느 정도 완화하는가?
• RQ4 미세조정 없이도 새로운 도메인에서 강력한 제로샷 전이 성능을 달성할 수 있는가?
• RQ5 사전 훈련된 언어 모델에 대한 다양한 미세조정 전략이 전체 예측 성능에 어떤 영향을 미치는가?

주요 결과

• UniTime는 Electricity, ETTh1, ETTh2, Weather 등 다양한 데이터셋에서 강력한 베이스라인을 일관되게 능가하며, 교차 도메인 예측에서 최고 수준의 성능을 보여준다.
• 모델은 뛰어난 제로샷 일반화 성능을 달성했으며, 지침 선택 프로토콜이 Electricity 및 Weather와 같이 새로운 데이터셋에 대해 성능이 가장 뛰어난 지침(ETTh1 기반)을 성공적으로 식별했다.
• 사전 훈련된 언어 모델 전체를 고정해도 뛰어난 성능를 유지함으로써, PLM의 자기주의 attention 메커니즘이 시계열 토큰에 대해 유용한 표현을 내재적으로 학습하고 있음을 확인했다.
• 전체 언어 모델을 미세조정하는 것이 가장 우수한 결과를 내었고, 이후 FPT(Frozen Parameters Except for Positional Embeddings and Normalization) 전략이 성능과 효율성 사이의 좋은 균형을 제공했다.
• 입력 순서를 뒤바꿔서(시계열 토큰을 지시 이전에 넣는 방식) 사용할 경우 모델 성능이 크게 떨어짐으로써, 지시 토큰에서 시계열 토큰으로의 어텐션 흐름의 중요성을 확인했다.
• 사전 훈련된 언어 모델 가중치 사용이 무작위 초기화보다 성능을 크게 향상시키며, 대규모 텍스트 코퍼스에서의 사전 훈련의 가치를 입증했다.

Figure 2. UniTime overview from the perspective of a univariate time series.