[논문 리뷰] Unsupervised Representation Learning for Time Series: A Review

Qianwen Meng, Hangwei Qian외 4명|arXiv (Cornell University)|2023. 08. 03.

Time Series Analysis and Forecasting인용 수 13

한 줄 요약

강력한 시계열의 비지도 표현 학습에 대한 포괄적 조사로, 17개 모델을 9개의 실제 세계 데이터셋에서 평가하는 통일 라이브러리 ULTS를 소개하며, 대비 학습에 초점을 둔다.

ABSTRACT

Unsupervised representation learning approaches aim to learn discriminative feature representations from unlabeled data, without the requirement of annotating every sample. Enabling unsupervised representation learning is extremely crucial for time series data, due to its unique annotation bottleneck caused by its complex characteristics and lack of visual cues compared with other data modalities. In recent years, unsupervised representation learning techniques have advanced rapidly in various domains. However, there is a lack of systematic analysis of unsupervised representation learning approaches for time series. To fill the gap, we conduct a comprehensive literature review of existing rapidly evolving unsupervised representation learning approaches for time series. Moreover, we also develop a unified and standardized library, named ULTS (i.e., Unsupervised Learning for Time Series), to facilitate fast implementations and unified evaluations on various models. With ULTS, we empirically evaluate state-of-the-art approaches, especially the rapidly evolving contrastive learning methods, on 9 diverse real-world datasets. We further discuss practical considerations as well as open research challenges on unsupervised representation learning for time series to facilitate future research in this field.

연구 동기 및 목표

• 시계열에 대한 비지도 표현 학습 방법의 체계적이고 최신의 분류 체계를 제공한다.
• 기존 설문조사의 간극을 식별하고 다운스트림 작업에 앞서 표현 학습을 강조한다.
• 모델의 공정하고 통일된 벤치마킹과 재현성 강화의 ULTS를 도입한다.
• 다양한 실제 데이터에서 최첨단 접근법, 특히 대조 학습 방법들을 경험적으로 평가한다.
• 향후 연구를 안내하기 위한 실용적 고려사항과 열려 있는 도전을 논의한다.

제안 방법

• 비지도 시계열 방법을 Deep clustering, reconstruction-based, self-supervised learning 범주로 분류한다.
• 자기지도 학습 방법을 적대적(adversarial), 예측(predictive), 대조(contrastive) 예측 과제로 더 세분화하고, 인스턴스-, 프로토타입-, 시간적 수준의 대조를 포함한다.
• PyTorch 기반의 ULTS 라이브러리를 개발하여 통합 평가와 유연한 데이터 확장을 위해 17개 모델을 통합한다.
• 표준화된 평가 테스트베드를 제공하고 9개의 실제 데이터셋에 대한 실증 연구를 수행한다.
• 비지도 시계열 표현 학습의 방법 설계와 향후 연구를 안내하기 위해 통찰을 검토하고 종합한다.

Figure 1: An up-to-date taxonomy of unsupervised representation learning methods for time series, including a) Deep Clustering Methods b) Reconstruction-based Methods and c) Self-supervised Learning Methods. The self-supervised learning methods can be further divided into adversarial methods, predic

실험 결과

연구 질문

• RQ1 시계열에서 비지도 표현 학습 방법에 대한 포괄적이고 최신의 분류 체계는 무엇인가?
• RQ2 최신 비지도 모델들은, 특히 대조 방법들은, 통합 평가 프레이워크 하에서 다양한 실제 시계열 데이터셋에서 어떻게 성능을 보이나?
• RQ3 표준화된 라이브러리(ULTS)가 방법과 데이터셋 간의 공정한 비교와 재현성을 가능하게 할 수 있는가?
• RQ4 실용적 고려사항과 남아 있는 도전 과제가 비지도 시계열 표현의 개발을 어떻게 형성하는가?

주요 결과

• ULTS 라이브러리는 딥 클러스터링, 재구성 기반, 자기지도 접근법에 걸친 17개 모델의 편리하고 통합된 평가를 가능하게 한다.
• 대조 학습 방법은 비지도 시계열 표현 학습에서 빠르게 진화하고 널리 평가되는 기법들 중 하나이다.
• 본 리뷰는 연구 간 증강, 백본, 데이터셋의 차이로 인한 공정한 비교의 도전과제를 강조한다.
• 향후 비지도 시계열 표현 학습 연구를 촉진하기 위한 실용적 고려사항과 열려 있는 연구 과제를 논의한다.
• 9개의 다양한 실제 데이터셋에 대한 실증 평가를 통해 다양한 모델의 강점과 적용 가능한 시나리오를 이해하는 데 참고가 된다.

Figure 2: The organization of the research in unsupervised learning techniques for time series, based on 3 main categories outlined in our proposed taxonomy.