[논문 리뷰] TS2Vec: Towards Universal Representation of Time Series

Zhihan Yue, Yujing Wang외 5명|arXiv (Cornell University)|2021. 06. 19.

Time Series Analysis and Forecasting인용 수 40

한 줄 요약

TS2Vec은 가공된 컨텍스트 뷰를 통해 타임스탬프 수준 표현을 학습하는 보편적이고 계층적 대비 학습 프레임워크로, 정확한 부분 시계열 표현을 가능하게 하며 분류, 예측 및 이상 탐지에서 최첨단 성능을 달성합니다.

ABSTRACT

This paper presents TS2Vec, a universal framework for learning representations of time series in an arbitrary semantic level. Unlike existing methods, TS2Vec performs contrastive learning in a hierarchical way over augmented context views, which enables a robust contextual representation for each timestamp. Furthermore, to obtain the representation of an arbitrary sub-sequence in the time series, we can apply a simple aggregation over the representations of corresponding timestamps. We conduct extensive experiments on time series classification tasks to evaluate the quality of time series representations. As a result, TS2Vec achieves significant improvement over existing SOTAs of unsupervised time series representation on 125 UCR datasets and 29 UEA datasets. The learned timestamp-level representations also achieve superior results in time series forecasting and anomaly detection tasks. A linear regression trained on top of the learned representations outperforms previous SOTAs of time series forecasting. Furthermore, we present a simple way to apply the learned representations for unsupervised anomaly detection, which establishes SOTA results in the literature. The source code is publicly available at https://github.com/yuezhihan/ts2vec.

연구 동기 및 목표

• 전체 시퀀스 임베딩을 넘어 보편적이고 미세한 시계열 표현을 학습하도록 동기를 부여한다.
• 다중 규모의 맥락 정보를 포착하기 위한 계층적 대비 프레임워크를 개발한다.
• 강한 귀납 편향 없이 견고한 양의 쌍 선택을 위한 맥락적 일관성을 도입한다.
• 간단한 타임스탬프 수준 집계(최대 풀링)를 통해 임의의 서브시계열 표현을 가능하게 한다.
• 분류, 예측, 이상 탐지 작업 전반에서 광범위한 개선을 시연한다.

제안 방법

• 각 입력에서 두 개의 겹치는 서브시리즈를 사용하고 이들의 공유된 구간 표현의 일관성을 강제한다.
• 입력은 입력 프로젝션, 타임스탬프 마스킹, 확장된 CNN으로 구성된 인코더로 인코딩한다.
• 두 가지 대비 손실: 시간적 대비 손실과 인스턴스별 대비 손실(Eq. 1–3)로 학습한다.
• 시간에 걸쳐 최대 풀링으로 계층적 대비를 적용하여 다중 스케일 표현을 만들고 여러 수준에서 손실을 계산한다.
• 타임스탬프 마스킹과 무작위 잘라내기를 통해 분포 가정 없이 양의 쌍에 대한 맥락 일관성을 채택한다.
• 백본은 다변량 입력을 지원하고 확장된 CNN을 사용하여 큰 수용 영역을 달성한다.

실험 결과

연구 질문

• RQ1 시계열 표현을 임의의 의미 수준에서 학습할 수 있는 방법은 무엇인가요, 전체 시퀀스 임베딩뿐만이 아니라?
• RQ2 계층적이고 다중 스케일 대비 목표가 시계열 작업의 강건성 및 일반화에 기여할 수 있는가?
• RQ3 맥락적 일관성이 서브시리즈나 시간적 일관성만으로 얻는 것보다 더 나은 양의 쌍 선택을 제공하는가?
• RQ4 학습된 타임스탬프 수준 표현을 집계하여 예측 및 이상 탐지를 위한 효과적인 서브시리즈 임베딩을 형성할 수 있는가?

주요 결과

• TS2Vec은 시계열 분류에서 상당한 향상을 달성하여 최상의 비지도 SOTA와 비교하여 125개 UCR 데이터셋에서 평균 정확도 2.4% 상승, 29개 UEA 데이터셋에서 3.0% 상승.
• 학습된 타임스탬프 표현은 표현 위에 선형 회귀를 두고 예측에서 강한 성능을 가능하게 하며, 보고된 벤치마크에서 MSE를 최대 32.6%(일변량) 및 28.2%(다변량)까지 감소시킨다.
• TS2Vec은 비지도 이상 탐지에서 정상 및 콜드 스타트 설정 모두에서 최첨단 결과를 제공하며 F1-점수에서 유의미한 향상을 보인다.
• 제거 연구는 구성요소들(시간적/인스턴스/계층적 대비, 맥락적 일관성, 마스킹 등)을 제거하면 정확도가 저하되며 각 구성요소의 중요성을 확인한다.
• 시각화는 모델이 학습된 표현에서 고저 타임스탬프, 변화하는 추세, 계절 패턴과 같은 동적 특성을 포착함을 확인한다.