[논문 리뷰] Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

Xiang Zhang, Ziyuan Zhao외 2명|ArXiv.org|2022. 06. 17.

EEG and Brain-Computer Interfaces인용 수 127

한 줄 요약

시간-주파수 일관성(TF-C)을 시계열의 자기지도 사전 학습에 도입하여 시간 기반 임베딩과 주파수 기반 임베딩을 정렬하고 보지 못한 대상 데이터셋으로의 전이를 개선한다.

ABSTRACT

Pre-training on time series poses a unique challenge due to the potential mismatch between pre-training and target domains, such as shifts in temporal dynamics, fast-evolving trends, and long-range and short-cyclic effects, which can lead to poor downstream performance. While domain adaptation methods can mitigate these shifts, most methods need examples directly from the target domain, making them suboptimal for pre-training. To address this challenge, methods need to accommodate target domains with different temporal dynamics and be capable of doing so without seeing any target examples during pre-training. Relative to other modalities, in time series, we expect that time-based and frequency-based representations of the same example are located close together in the time-frequency space. To this end, we posit that time-frequency consistency (TF-C) -- embedding a time-based neighborhood of an example close to its frequency-based neighborhood -- is desirable for pre-training. Motivated by TF-C, we define a decomposable pre-training model, where the self-supervised signal is provided by the distance between time and frequency components, each individually trained by contrastive estimation. We evaluate the new method on eight datasets, including electrodiagnostic testing, human activity recognition, mechanical fault detection, and physical status monitoring. Experiments against eight state-of-the-art methods show that TF-C outperforms baselines by 15.4% (F1 score) on average in one-to-one settings (e.g., fine-tuning an EEG-pretrained model on EMG data) and by 8.4% (precision) in challenging one-to-many settings (e.g., fine-tuning an EEG-pretrained model for either hand-gesture recognition or mechanical fault prediction), reflecting the breadth of scenarios that arise in real-world applications. Code and datasets: https://github.com/mims-harvard/TFC-pretraining.

연구 동기 및 목표

• 도메인 간 이동에도 불구하고 시계열의 견고한 사전 학습을 촉진한다.
• 사전 학습 중 대상 도메인 데이터를 필요로 하지 않는 일반화 가능한 사전 학습 원칙으로 TF-C를 제안한다.
• TF-C를 강제하기 위해 시간 인코더와 주파수 인코더, 교차 공간 프로젝터를 포함하는 분해 가능한 모델을 개발한다.
• 표현을 융합하기 위한 시간 기반 및 주파수 기반 대비 손실과 일관성(삼중항 유사) 손실을 도입한다.
• 최신 기준선과 비교하여 다양한 데이터셋과 작업에서 전이 이득을 입증한다.

제안 방법

• 시간 및 주파수 도메인용 두 개의 평행 인코더를 정의하고 공유된 시간–주파수 공간으로의 교차 공간 프로젝션을 수행한다.
• 시간 기반 증강 은행을 적용하고 스펙트럼을 변조하는 주파수 증강 전략을 적용한다.
• 시간 기반과 주파수 기반 표현을 각각 정렬하기 위해 NT-Xent 스타일 대비 손실을 사용한다.
• 도메인 간의 시간–주파수 표현의 근접성을 촉진하기 위해 트리플렛에서 영감을 받은 일관성 손실을 도입한다.
• 대비 손실과 일관성 항의 균형을 맞추는 TF-C 목표로 손실들을 결합한다 (L_TF-C = λ(L_T + L_F) + (1−λ)L_C).

실험 결과

연구 질문

• RQ1 같은 시계열의 시간 기반 및 주파수 기반 표현을 대상 도메인 데이터 없이 공유 잠재 공간에서 정렬할 수 있는가?
• RQ2 주파수 도메인 증강과 TF-C 일관성 목표가 미지의 대상 데이터셋으로의 전이를 개선하는가?
• RQ3 TF-C가 다양한 시계열 작업에서 최첨단 자기지도 베이스라인에 비해 어떤 성능을 보이는가?
• RQ4 TF-C 사전 학습이 일대일 및 다대일 전이 설정 모두에서 유익한가?
• RQ5 제안된 주파수 흔들림이 표현의 강건성에 미치는 영향은 무엇인가?

주요 결과

• TF-C는 평균 F1 점수에서 일대일 전이 설정에서 모든 베이스라인보다 15.4% 우수하다.
• TF-C는 도전적인 다대일 전이 설정에서 정밀도를 8.4% 향상시킨다.
• 이 방법은 EEG, EMG, ECG, 보행 및 진동 신호를 포함한 여덟 개 데이터 세트에서 강력한 전이 성능을 보인다.
• 모델은 공유된 시간–주파수 공간에 임베딩하기 위한 4개 구성 요소 아키텍처(시간 인코더, 주파수 인코더, 그리고 두 개의 교차 공간 프로젝터)를 사용한다.
• 주파수 도메인 증강은 시계열에서 대비 학습에 효과적이고 새로울 뿐만 아니라 유용하다.