[논문 리뷰] MOMENT: A Family of Open Time-series Foundation Models

Mononito Goswami, Konrad Szafer외 4명|arXiv (Cornell University)|2024. 02. 06.

Time Series Analysis and Forecasting인용 수 24

한 줄 요약

MOMENT은 Time-series Pile에서 마스킹된 시계열 모델링으로 학습된 오픈 소스 transformer 기반 시계열 기초 모델을 제시하여, 제한 자원 환경에서 forecasting, classification, anomaly detection, 및 imputation에 대해 zero-shot 및 few-shot 성능을 가능하게 한다.

ABSTRACT

We introduce MOMENT, a family of open-source foundation models for general-purpose time series analysis. Pre-training large models on time series data is challenging due to (1) the absence of a large and cohesive public time series repository, and (2) diverse time series characteristics which make multi-dataset training onerous. Additionally, (3) experimental benchmarks to evaluate these models, especially in scenarios with limited resources, time, and supervision, are still in their nascent stages. To address these challenges, we compile a large and diverse collection of public time series, called the Time series Pile, and systematically tackle time series-specific challenges to unlock large-scale multi-dataset pre-training. Finally, we build on recent work to design a benchmark to evaluate time series foundation models on diverse tasks and datasets in limited supervision settings. Experiments on this benchmark demonstrate the effectiveness of our pre-trained models with minimal data and task-specific fine-tuning. Finally, we present several interesting empirical observations about large pre-trained time series models. Pre-trained models (AutonLab/MOMENT-1-large) and Time Series Pile (AutonLab/Timeseries-PILE) are available on Huggingface.

연구 동기 및 목표

• 일반-purpose 시계열 분석을 위한 오픈 기초 모델로의 동기 부여 및 가능성 제공.
• 다양한 데이터셋에 걸친 멀티-데이터셋 선행 학습을 지원하기 위한 대규모, 다양한 시계열 전처리 코퍼스(Time-series Pile) 구축.
• 제한된 감독 설정에서 MOMENT를 여러 작업에 걸쳐 평가하여 실용적 활용 가능성을 확립.
• MOMENT가 시간적 구조에 대해 무엇을 학습하는지와 모델 크기가 성능에 어떤 영향을 미치는지 조사하려는 목적.

제안 방법

• 고정 길이 패치로 분해된 단변량 시계열에서 작동하는 고용량의 transformer로 MOMENT를 구축한다.
• 패치가 마스킹될 때 대체하기 위해 학습 가능한 [MASK] 임베딩을 사용한 masked time-series modeling으로 사전 학습한다.
• 다양한 시계열 간 분포를 조화시키기 위해 reversible instance normalization을 사용한다.
• 대부분의 작업에 대해 재구성 헤드; forecasting에 대해서는 forecasting 헤드를 두고, 선형 프로빙 또는 zero-shot 구성을 허용하며 작업별 헤드로 미세 조정한다.
• 다양한 공개 데이터셋으로부터 Time-series Pile를 구성하고, disjoint pre-training을 지원하기 위해 신중한 train/validation/test 분할을 수행한다.
• 제한된 감독하에서 장기·단기 예측, 분류, 이상 탐지, 대치에 이르는 다중 작업 벤치마크를 평가한다.

Figure 1: MOMENT can solve multiple time-series analysis tasks well (App. D ).

실험 결과

연구 질문

• RQ1 RQ1: MOMENT가 제한된 감독 설정에서 여러 시계열 분석 작업에 대해 효과적인가?
• RQ2 RQ2: MOMENT가 주파수, 추세, 진폭과 같은 직관적인 시계열 특성을 포착하는가?
• RQ3 RQ3: 모델 크기가 성능에 어떤 영향을 미치며 MOMENT가 교차 모달 전이 학습을 가능하게 하는가?
• RQ4 RQ4: zero-shot 및 선형 프로빙 성능이 데이터셋 간 작업별 베이스라인과 어떻게 비교되는가?

주요 결과

• MOMENT는 제한된 감독 설정에서 여러 작업에 대해 경쟁력 있거나 거의 최첨단의 성능을 달성한다.
• Zero-shot 단기 예측은 여러 베이스라인 대비 상당한 이점을 보이나, 특정 데이터셋에서 일부 전통적인 통계 방법에 비해 여전히 도전적이다.
• MOMENT 표현은 추세, 진폭, 주파수, 위상 정보를 포착할 수 있으며 비지도 분류에서 서로 다른 클래스를 구분할 수 있다.
• 모델 크기를 늘리면 훈련 손실이 개선되며, 이는 언어 모델링 패러다임과 유사한 확장 가능성을 시사한다.
• MOMENT를 이용한 선형 프로빙은 예측 및 대치 작업에서 강한 성능을 자주 보여, 시계열 백본으로서의 재사용 가능성을 강조한다.

Figure 2: Time-series Pile data splits . To prevent data contamination, we carefully partition all datasets into disjoint train, validation, and test splits. We adhere to the predefined splits provided by the creators of each dataset. In cases where such splits are unavailable, we randomly sample 60