[논문 리뷰] Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects

Kexin Zhang, Qingsong Wen외 9명|arXiv (Cornell University)|2023. 06. 16.

Time Series Analysis and Forecasting인용 수 18

한 줄 요약

이 연구 개관은 시계열(time series)용 최첨단 자기지도 학습(SSL) 방법을 검토하고, 생성(generative), 대비(contrastive), 적대적(adversarial) 접근법 간의 분류학을 제안하며, 데이터셋과 향후 방향을 제시합니다.

ABSTRACT

Self-supervised learning (SSL) has recently achieved impressive performance on various time series tasks. The most prominent advantage of SSL is that it reduces the dependence on labeled data. Based on the pre-training and fine-tuning strategy, even a small amount of labeled data can achieve high performance. Compared with many published self-supervised surveys on computer vision and natural language processing, a comprehensive survey for time series SSL is still missing. To fill this gap, we review current state-of-the-art SSL methods for time series data in this article. To this end, we first comprehensively review existing surveys related to SSL and time series, and then provide a new taxonomy of existing time series SSL methods by summarizing them from three perspectives: generative-based, contrastive-based, and adversarial-based. These methods are further divided into ten subcategories with detailed reviews and discussions about their key intuitions, main frameworks, advantages and disadvantages. To facilitate the experiments and validation of time series SSL methods, we also summarize datasets commonly used in time series forecasting, classification, anomaly detection, and clustering tasks. Finally, we present the future directions of SSL for time series analysis.

연구 동기 및 목표

• 시계열 데이터에 대한 SSL의 포괄적 개요를 제공한다.
• 세 가지 관점에서 시계열 SSL 방법의 새로운 분류 체계를 도입한다.
• 예측, 분류, 이상 탐지, 클러스터링 등 시계열 SSL 작업에 일반적으로 사용되는 데이터셋을 요약한다.
• 시계열 SSL의 장점, 한계 및 향후 방향을 논의한다.

제안 방법

• 생성 기반, 대조 기반, 적대 기반의 세 관점에서 시계열 SSL 방법의 분류 체계를 제안한다.
• 생성 기반 방법을 자기회귀 기반 예측, 자동인코더 기반 재구성, 확산 기반 생성으로 나눈다.
• 대조 기반 방법을 Positive/Negative 샘플 생성에 따라 샘플링, 예측, 증강, 프로토타입, 전문가 지식의 다섯 가지 범주로 나눈다.
• 적대 기반 방법을 작업별로 시계열 생성/대치(imputation) 및 보조 표현 강화로 분류한다.
• SSL 방법의 평가를 용이하게 하기 위해 예측, 분류, 이상 탐지, 클러스터링에 걸친 데이터셋과 응용 사례를 검토한다.
• 데이터 증강, 샘플 선택, 귀납 편향, 이론적 분석, 견고한 평가를 포함한 향후 연구 방향을 제시한다.

Figure 1: The proposed taxonomy of SSL for time series data.

실험 결과

연구 질문

• RQ1 시계열에 적용 가능한 주요 SSL 패러다임은 무엇이며 그 핵심 특성은 무엇인가?
• RQ2 시계열 SSL 방법은 어떻게 분류될 수 있으며 각 범주 내의 정의 체계는 무엇인가?
• RQ3 시계열 SSL 방법을 검증하는 데 일반적으로 사용되는 데이터셋과 작업은 무엇인가?
• RQ4 시계열 분석에서 SSL의 개방형 도전 과제와 유망한 방향은 무엇인가?

주요 결과

• 시계열 SSL에 대한 새롭고 상세한 분류 체계가 제안되어, 생성 기반, 대조 기반, 적대 기반의 세 가지 주요 패러다임에 걸쳐 열 가지 하위 범주로 방법을 나눈다.
• 생성 기반 SSL은 자기회귀 예측, 자동인코더 재구성, 확산 기반 생성으로 구성되며 장단점에 대한 논의가 포함된다.
• 대조 기반 SSL은 Positive/Negative 샘플 생성을 기준으로 샘플링, 예측, 증강, 프로토타입, 전문가 지식 대조의 다섯 가지 범주로 분류된다.
• 적대 기반 SSL은 시계열 생성/대치(imputation) 및 보조 표현 강화를 목표로 다룬다.
• 본 논문은 예측, 분류, 이상 탐지, 클러스터링 작업에서 시계열 SSL에 일반적으로 사용되는 데이터셋을 수집·요약하고 응용 사례 및 데이터 소스에 대해 논의한다.
• 언급된 향후 방향에는 데이터 증강 선택, 양의/음의 샘플 전략, 귀납적 편향, 이론적 분석, 적대적 강건성, 도메인 적응, 대규모 시계열 모델로의 프리트레이닝이 포함된다.

Figure 2: Learning paradigms of SSL.