[논문 리뷰] Self-Supervised Time Series Representation Learning via Cross Reconstruction Transformer

Wenrui Zhang, L. Yang외 2명|arXiv (Cornell University)|2022. 05. 20.

Time Series Analysis and Forecasting인용 수 10

한 줄 요약

이 논문은 시간 영역과 주파수 영역 간의 교차 도메인 복원을 사용하여 Transformer 인코더를 활용하는 자기지도 학습 시간 시리즈 표현 학습 방법인 Cross Reconstruction Transformer (CRT)을 제안한다. 교차 도메인 복원과 커리큘럼 학습, 인스턴스 구분을 적용함으로써 CRT는 다양한 실세계 데이터셋에서 기존 방법보다 2%~9% 향상된 최신 기술 성능을 달성하며, 시간-스펙트럼 상관관계를 향상시킨다.

ABSTRACT

Unsupervised/self-supervised representation learning in time series is critical since labeled samples are usually scarce in real-world scenarios. Existing approaches mainly leverage the contrastive learning framework, which automatically learns to understand the similar and dissimilar data pairs. Nevertheless, they are restricted to the prior knowledge of constructing pairs, cumbersome sampling policy, and unstable performances when encountering sampling bias. Also, few works have focused on effectively modeling across temporal-spectral relations to extend the capacity of representations. In this paper, we aim at learning representations for time series from a new perspective and propose Cross Reconstruction Transformer (CRT) to solve the aforementioned problems in a unified way. CRT achieves time series representation learning through a cross-domain dropping-reconstruction task. Specifically, we transform time series into the frequency domain and randomly drop certain parts in both time and frequency domains. Dropping can maximally preserve the global context compared to cropping and masking. Then a transformer architecture is utilized to adequately capture the cross-domain correlations between temporal and spectral information through reconstructing data in both domains, which is called Dropped Temporal-Spectral Modeling. To discriminate the representations in global latent space, we propose Instance Discrimination Constraint to reduce the mutual information between different time series and sharpen the decision boundaries. Additionally, we propose a specified curriculum learning strategy to optimize the CRT, which progressively increases the dropping ratio in the training process.

연구 동기 및 목표

• 마스킹로 인한 분포 이탈 문제를 겪고 있으며 스펙트럼 정보를 忽시하는 기존 자기지도 학습 시간 시리즈 방법의 한계를 해결하기 위해.
• 교차 도메인 복원을 통해 시간-스펙트럼 상관관계를 명시적으로 모델링하여 표현 학습을 향상시키기 위해.
• 대조 학습에서 복잡한 샘플링 정책에 의존하는 것을 제거하고, 복원 기반 방법의 분포 이탈 문제를 방지하기 위해.
• 커리큘럼 학습과 인스턴스 구분을 통해 강력하고 종단 간 프레임워크를 개발하여 최종 작업 성능을 향상시키기 위해.

제안 방법

• 주파수 영역 표현을 확보하기 위해 빠른 푸리에 변환(FFT)을 적용하여 크기와 위상을 모두 포함한다.
• 시간 영역과 주파수 영역 양쪽에서 패치를 무작위로 마스킹함으로써 교차 도메인 드롭-복원 작업을 도입하여 전반적인 맥락을 유지하면서 분포 이탈을 유도한다.
• 공유된 Transformer 인코더가 양 도메인의 표현을 처리하여 시간적 및 주파수 특징의 공동 모델링을 통해 교차 도메인 의존성을 학습한다.
• 마스킹된 표현에서 원래의 시간 및 주파수 데이터를 복원함으로써 자기지도 사전 훈련을 가능하게 한다.
• 사전 훈련 중에 드롭 비율을 점진적으로 증가시키는 커리큘럼 학습 전략을 적용하여 강건성과 일반화 능력을 향상시킨다.
• 다른 샘플 간 상호정보를 최소화하고 잠재 공간의 결정 경계를 날카롭게 하기 위해 인스턴스 구분 제약(IDC)을 적용한다.

Figure 1: Comparisons with previous self-supervised methods. “Encode” is the encoder producing the representations of time series. “Temporal” and “Spectral” are time-domain and frequency-domain data respectively. Note that our CRT utilizes both temporal and spectral information, and captures cross-d

실험 결과

연구 질문

• RQ1 시간 영역과 주파수 영역 간의 교차 도메인 복원이 자기지도 학습 시간 시리즈 표현 학습을 향상시킬 수 있는가?
• RQ2 시간-스펙트럼 상관관계를 모델링하면 특징의 구분 능력과 최종 작업 성능에 어떻게 기여하는가?
• RQ3 진행적 마스킹을 통한 커리큘럼 학습이 사전 훈련 중 강건성과 일반화 능력을 향상시키는가?
• RQ4 제안된 인스턴스 구분 제약는 대조 학습 대비 안정성과 성능 측면에서 어떻게 비교되는가?
• RQ5 주파수 영역에서 위상 정보를 유지할 경우 복원 및 표현 품질에 얼마나 기여하는가?

주요 결과

• CRT는 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, 기존 방법 대비 분류 정확도에서 2%에서 9% 향상되었다.
• PTB-XL 데이터셋에서 CRT는 'MI' 클래스에 대해 AUC 98.94% ± 0.22를 기록하여 F2T(87.30%) 및 T2F(94.24%) 방법을 크게 앞서며 성능을 뛰어넘었다.
• 절단 실험 결과, 커리큘럼 학습과 인스턴스 구분 제약 모두 모델 성능 향상에 기여함을 확인하였으며, IDC는 샘플 간 상호정보를 감소시켰다.
• 교차 도메인 복원 프레임워크(CRT)는 특히 주기적 구조를 가진 ECG 신호와 같은 복잡한 패턴에서 단방향 방법(T2F 및 F2T)보다 일관되게 뛰어난 성능을 보였다.
• 모델는 강력한 일반화 능력을 보이며, 70%의 드롭 비율에서도 높은 복원 품질을 유지하여 전반적인 패턴 학습 능력이 뛰어남을 시사한다.
• 주파수 영역에서 위상 정보를 포함시킬 경우 크기만을 고려한 방법에 비해 더 정확하고 정보가 풍부한 표현을 얻을 수 있었다.

Figure 2: The framework of our CRT. For each time series, we transform it into the frequency domain and calculate the magnitude and phase as explained in Section III-B . We then slice the data and randomly drop some sliced patches. The remaining patches are projected as three types of embeddings thr