[논문 리뷰] TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning

Jiexi Liu, Songcan Chen|arXiv (Cornell University)|2023. 12. 25.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

TimesURL는 주파수-시간 증강(FTAug), 이중 유니버스(시간 및 인스턴스 기반)를 하드 음성 샘플로 사용하고 시간 복원과 함께 공동 최적화하는 자기지도 대비 학습 프레임워크를 제안한다. 이는 예측, 누락치 보정, 분류, 이상 탐지, 전이 학습을 포함한 6개의 하류 작업에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Learning universal time series representations applicable to various types of downstream tasks is challenging but valuable in real applications. Recently, researchers have attempted to leverage the success of self-supervised contrastive learning (SSCL) in Computer Vision(CV) and Natural Language Processing(NLP) to tackle time series representation. Nevertheless, due to the special temporal characteristics, relying solely on empirical guidance from other domains may be ineffective for time series and difficult to adapt to multiple downstream tasks. To this end, we review three parts involved in SSCL including 1) designing augmentation methods for positive pairs, 2) constructing (hard) negative pairs, and 3) designing SSCL loss. For 1) and 2), we find that unsuitable positive and negative pair construction may introduce inappropriate inductive biases, which neither preserve temporal properties nor provide sufficient discriminative features. For 3), just exploring segment- or instance-level semantics information is not enough for learning universal representation. To remedy the above issues, we propose a novel self-supervised framework named TimesURL. Specifically, we first introduce a frequency-temporal-based augmentation to keep the temporal property unchanged. And then, we construct double Universums as a special kind of hard negative to guide better contrastive learning. Additionally, we introduce time reconstruction as a joint optimization objective with contrastive learning to capture both segment-level and instance-level information. As a result, TimesURL can learn high-quality universal representations and achieve state-of-the-art performance in 6 different downstream tasks, including short- and long-term forecasting, imputation, classification, anomaly detection and transfer learning.

연구 동기 및 목표

• 다양한 하류 작업에 적용 가능한 유니버설 시계열 표현 학습의 과제를 해결한다.
• 기존 자기지도 대비 학습 방법이 단순한 데이터 증강을 통해 부적절한 인도크티브 편향을 도입하는 문제를 극복한다.
• 시간 구조에 맞는 고품질의 하드 음성 샘플을 통합하여 대비 학습을 향상시킨다.
• 세그먼트 수준과 인스턴스 수준의 의미를 모두 포착하여 다중 작업 일반화를 위한 작업 무관 사전 훈련을 가능하게 한다.
• 더 풍부한 표현 학습을 위해 대비 학습과 시간 복원을 공동 최적화하는 통합 프레임워크를 개발한다.

제안 방법

• 시간적 및 스펙트럼적 특성을 유지하기 위해 커파이팅과 주파수 혼합을 조합한 FTAug(Frequency-Temporal Augmentation)를 제안한다.
• 시간 기반 및 인스턴스 기반으로 별도로 구성된 이중 유니버스를 하드 음성 샘플의 형태로 도입하여 분류 성능을 향상시킨다.
• 두 유형의 유니버스 표현을 융합하는 이중 대비 학습 메커니즘(DualCon)을 활용해 특징의 분류 성능을 향상시킨다.
• 세그먼트 수준의 세부 정보와 인스턴스 수준의 개괄적 의미를 포착하기 위해 시간 복원을 대비 학습과 공동 목표로 통합한다.
• 증강된 시계열에서 표현을 추출하기 위해 표준 인코더 백본을 사용하고, 이후 대비 및 복원 헤드를 적용한다.
• FTAug에서 유도된 양성 쌍과 이중 유니버스 구조에서 유도된 음성 쌍을 모두 활용하는 멀티헤드 대비 손실을 적용한다.

실험 결과

연구 질문

• RQ1 표준 컴퓨터 비전/자연어 처리 스타일의 증강 기법에 비해 주파수-시간 증강은 시계열에서 시간적 성질을 더 잘 유지하는가?
• RQ2 유니버스를 통한 작업별 하드 음성 샘플의 포함이 유니버설 표현을 위한 대비 학습에 어떻게 기여하는가?
• RQ3 시간 복원과의 공동 최적화가 다양한 해상도 수준에서 표현 품질을 어느 정도 향상시키는가?
• RQ4 특정 작업에 맞춘 미세조정 없이도 단일 사전 훈련 모델이 다양한 하류 작업에서 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ5 각 구성 요소(Forecast, double Universum, reconstruction)가 전체 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• TimesURL은 예측, 누락치 보정, 분류, 이상 탐지, 전이 학습을 포함한 6개의 하류 작업에서 최신 기술(SOTA) 성능을 달성한다.
• Yahoo 및 KPI 이상 탐지 벤치마크에서 TimesURL은 각각 F1 스코어 0.750과 0.688을 기록하여 기존 방법인 TS2Vec(0.745 및 0.677)를 초월한다.
• 제거 실험 결과, 주파수 혼합, 인스턴스 유니버스, 시간 유니버스, 이중 유니버스, 시간 복원 중 어느 요소라도 제거할 경우 30개의 UEA 데이터셋 평균에서 1.8%에서 4.3%의 성능 저하가 발생한다.
• 이중 유니버스 설계는 단일 유니버스 버전 대비 성능 향상이著명하여 시간적 및 인스턴스 수준의 분류 신호를 모두 포착하는 것이 중요함을 확인한다.
• 전이 학습 결과, TimesURL이 학습한 표현은 CinCECGTorso에서 평균 정확도 0.895, CBF에서 0.864를 기록하여 일부 경우에서 전이 없이 훈련한 기준 모델을 초월한다.
• 대비 학습과 시간 복원의 공동 최적화는 모든 평가된 작업에서 성능 향상을 보이며 더 나은 일반화 능력을 유도함을 입증한다.