[논문 리뷰] Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping

Vandan Gorade, Azad Singh외 1명|arXiv (Cornell University)|2022. 04. 24.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 공유 가중치를 가진 시아모이드 네트워크와 이중 특징 추출 헤드를 사용하여 시간 시리즈 표현 학습을 위한 비대비(self-supervised) 학습 프레임워크를 제안한다. 이는 동일한 증강을 두 개의 원시 데이터 뷰에 적용하고, 다양한 수신장이 있는 시간 순환 신경망(TCN)을 활용하여 저주파수 및 고주파수 특징을 동시에 캡처한다. 이 방법은 다섯 개인 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 대비 학습이나 다른 비대비 접근 방식보다 뛰어나지만 라벨이 부여된 데이터의 10%만을 사용한다.

ABSTRACT

Learning representation from unlabeled time series data is a challenging problem. Most existing self-supervised and unsupervised approaches in the time-series domain do not capture low and high-frequency features at the same time. Further, some of these methods employ large scale models like transformers or rely on computationally expensive techniques such as contrastive learning. To tackle these problems, we propose a non-contrastive self-supervised learning approach efficiently captures low and high-frequency time-varying features in a cost-effective manner. Our method takes raw time series data as input and creates two different augmented views for two branches of the model, by randomly sampling the augmentations from same family. Following the terminology of BYOL, the two branches are called online and target network which allows bootstrapping of the latent representation. In contrast to BYOL, where a backbone encoder is followed by multilayer perceptron (MLP) heads, the proposed model contains additional temporal convolutional network (TCN) heads. As the augmented views are passed through large kernel convolution blocks of the encoder, the subsequent combination of MLP and TCN enables an effective representation of low as well as high-frequency time-varying features due to the varying receptive fields. The two modules (MLP and TCN) act in a complementary manner. We train an online network where each module learns to predict the outcome of the respective module of target network branch. To demonstrate the robustness of our model we performed extensive experiments and ablation studies on five real-world time-series datasets. Our method achieved state-of-art performance on all five real-world datasets.

연구 동기 및 목표

• 기존의 자기지도 학습 기반 시간 시리즈 방법이 저주파수 및 고주파수 시간 패턴을 동시에 캡처하는 데에 한계가 있음을 해결하기 위해.
• 계산 비용이 높은 대비 학습과 트랜스포머와 같은 큰 모델을 피하는 비대비 학습 프레임워크를 비용 효율적으로 개발하기 위해.
• 동일한 증강 가족을 사용하여 동일한 시간 시리즈의 두 개의 증강된 뷰를 통해 잠재 특징을 부트스트랩함으로써 표현 일반화를 향상시키기 위해.
• 최소한의 라벨이 부여된 데이터로 다양한 실세계 시간 시리즈 데이터셋에서 강력한 성능을 보여주기 위해.

제안 방법

• 프레임워크는 동일한 원시 시간 시리즈 입력의 서로 다른 증강된 뷰를 처리하는 두 개의 가중치 공유 브랜치를 가진 시아모이드 신경망을 사용한다.
• 각 브랜치 뒤에는 다층퍼셉트론(MLP)을 사용하는 저주파수 특징 부트스트랩(LFFB) 모듈과 시간 순환 신경망(TCN)을 사용하는 고주파수 특징 부트스트랩(HFFB) 모듈이 따라온다.
• 증강은 하나의 가족(jitter, permute, rotate)에서 샘플링되어 일관성과 부정적 쌍 계산을 방지한다.
• TCN 헤드는 다양한 커널 크기와 확장률(dilation rate)을 가진 확장 컨볼루션을 사용하여 다중 시간 척도에서 장거리 의존성을 캡처한다.
• LFFB 및 HFFB 모듈의 감독 신호를 조합하는 균형 잡힌 손실 함수는 유연한 가중치 요소 λ를 통해 기여도를 조절할 수 있다.
• 대비 학습의 계산 부담을 피하기 위해 오직 양성 쌍만을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

Figure 1: Given an input sample x, model creates two augmented versions $x_{1}\sim t$ and $x_{2}\sim t^{{}^{\prime}}$ , where $t$ and $t^{{}^{\prime}}$ are sampled from a set $T$ of augmentations. $x_{1}$ and $x_{2}$ pass through the backbone encoders parameterized by $\theta$ and $\epsilon$ which g

실험 결과

연구 질문

• RQ1 대비 학습의 부정적 쌍에 의존하지 않고도 비대비 자기지도 학습 접근 방식이 시간 시리즈 데이터에서 상호 보완적인 저주파수 및 고주파수 표현을 효과적으로 학습할 수 있는가?
• RQ2 특히, 두 뷰에 동일한 증강 가족을 사용하는 것이 표현 품질과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 백본 인코더에 비해 TCN 커널 크기와 확장률의 최적 구성은 다중 척도 시간 패턴을 캡처하기 위해 어떻게 설정되어야 하는가?
• RQ4 제안된 방법이 최소한의 라벨이 부여된 데이터로 다양한 시간 시리즈 데이터셋에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 실세계 시간 시리즈 데이터셋 다섯 개에서 최신 기술 수준 성능을 달성하며, 기존의 대비 및 비대비 방법보다 뛰어나다.
• HAR 데이터셋에서, 백본 커널보다 작은 TCN 커널 크기와 TCN 커널 크기보다 큰 확장률을 사용할 경우, 매크로-F1 스코어가 93.28 ± 0.36에 도달한다.
• 균형 인자 λ를 극단적인 값(예: λ = 500)으로 설정할 경우 성능이 크게 떨어지며, 매크로-F1 스코어가 87.56 ± 13.26로 감소하여 λ 선택에 민감함을 보인다.
• 라벨이 부여된 데이터의 10%만을 사용하여도 거의 지도 학습 성능에 가까운 결과를 달성하여 강력한 데이터 효율성을 입증한다.
• 제거 실험 결과, 두 뷰에 동일한 증강 가족을 사용할 경우 혼합 증강 전략보다 더 높은 성능을 내는 것으로 확인되었다.
• 최적의 구성은 TCN 커널 크기가 백본 커널보다 크고, 확장률이 TCN 커널 크기를 초과할 경우로, 이는 특징 다양성을 극대화한다.