[논문 리뷰] Time-Series Representation Learning via Temporal and Contextual Contrasting

Emadeldeen Eldele, Mohamed Ragab외 5명|arXiv (Cornell University)|2021. 06. 26.

Time Series Analysis and Forecasting참고 문헌 25인용 수 35

한 줄 요약

TS-TCC는 두 개의 상관된 증강 뷰와 새롭은 시간적 및 컨텍스트 대조 모듈을 활용하여 선형 분류기가 감독 모델과 비슷한 성능을 내도록 표현을 생성하는 비지도 시계열 표현 학습 프레임워크이며, 강력한 소수 샷 및 트랜스퍼 학습 결과를 보여줍니다.

ABSTRACT

Learning decent representations from unlabeled time-series data with temporal dynamics is a very challenging task. In this paper, we propose an unsupervised Time-Series representation learning framework via Temporal and Contextual Contrasting (TS-TCC), to learn time-series representation from unlabeled data. First, the raw time-series data are transformed into two different yet correlated views by using weak and strong augmentations. Second, we propose a novel temporal contrasting module to learn robust temporal representations by designing a tough cross-view prediction task. Last, to further learn discriminative representations, we propose a contextual contrasting module built upon the contexts from the temporal contrasting module. It attempts to maximize the similarity among different contexts of the same sample while minimizing similarity among contexts of different samples. Experiments have been carried out on three real-world time-series datasets. The results manifest that training a linear classifier on top of the features learned by our proposed TS-TCC performs comparably with the supervised training. Additionally, our proposed TS-TCC shows high efficiency in few-labeled data and transfer learning scenarios. The code is publicly available at https://github.com/emadeldeen24/TS-TCC.

연구 동기 및 목표

• 시간적 다이나믹스를 갖는 라벨링되지 않은 시계열 데이터로 의미 있는 표현을 학습하도록 동기를 부여한다.
• 대조 학습을 위한 다양한 뷰를 만들기 위해 두 개의 상관된 증강(약한 및 강한)을 개발한다.
• 강력한 시간 의존성을 포착하기 위해 교차 뷰 예측을 포함한 시간적 대조 모듈을 도입한다.
• 학습된 표현의 구분력을 높이기 위해 컨텍스턴트 대조 모듈을 추가한다.
• 여러 실제 시계열 작업 및 전이 시나리오에서 효과를 입증한다.

제안 방법

• 시계열 특화 증강(순열-지터, 지터-스케일)을 통해 두 개의 뷰 x^s(강한)와 x^w(약한)을 생성한다.
• 각 타임스텝에 대해 잠재표현 z_t를 얻기 위해 3-블록 CNN 인코더로 뷰를 인코딩한다.
• 시간적 대조 TC: 자기회귀 트랜스포머를 사용하여 과거 z에서 미래 z를 예측하고, 교차 뷰로는 (c_t^s가 z_{t+k}^w를 예측하고 c_t^w가 z_{t+k}^s를 예측한다).
• 맥락에서 특성 공간으로의 공유 W_k 매핑을 갖는 로그-쌍선형 교차 뷰 예측을 이용하여 TC 손실 L_TC^s 및 L_TC^w를 계산한다.
• 컨텍스트 대조(CC): 컨텍스트에 비선형 투영을 적용한 뒤, 동일 샘플 간 뷰 간 컨텍스트의 일치를 최대화하고 다른 샘플과의 일치를 최소화(음의 샘플)하도록 대조 손실을 사용한다.
• 손실 합성: L = λ1*(L_TC^s + L_TC^w) + λ2*L_CC를 사용하고 Transformer 기반의 자기회귀 모델로 PyTorch에서 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 비지도 TS-TCC가 라벨이 없는 시계열 데이터로부터 선형 분류기에 사용될 때 감독 학습과 경쟁력 있는 표현을 학습할 수 있는가?
• RQ2 시간적 교차 뷰 예측과 컨텍스트 대조가 서로 다른 시계열 도메인 간 표현 품질과 전이 가능성을 향상시키는가?
• RQ3 HAR, 수면 스테이징, 뇌전증 예측, 고장 진단에서 시계열 특화 증강 및 이중 뷰가 다운스트림 성능에 어떤 영향을 미치는가?
• RQ4 소수 샷 라벨 데이터와 전이 학습이 TS-TCC의 효과에 미치는 영향은 무엇인가?

주요 결과

• TS-TCC는 HAR, Sleep-EDF, Epilepsy, Fault Diagnosis 데이터세트 전반에서 감독 학습과 비교하여 경쟁력 있거나 더 우수한 선형 평가 성능을 달성한다.
• 소수 샷 및 전이 학습 시나리오에서 라벨 데이터가 부족할 때 TS-TCC가 감독 기준선보다 현저히 우수하며 교차 도메인 전이 가능성을 향상시킨다.
• 무효화(곁가지 제거) 연구는 교차 뷰 시간 예측과 컨텍스트 대조가 모두 성능 향상에 기여하며 두 증강을 함께 사용할 때 더 큰 이득이 있음을 보인다.
• 교차 뷰 예측을 통한 시간적 특징이 특히 이로우며 제안된 증강이 단일 증강 구성보다 우수하다.
• 크로스 도메인 고장 진단에서 강력한 전이가 나타나며 테스트된 대부분의 시나리오에서 감독형 사전학습보다 우수하다.
• 전반적으로 TS-TCC 특징의 선형 분류기가 감독 학습과 비슷하거나 거의 근접한 성능을 보이며, 효과적인 비지도 표현 학습을 확인한다.