[논문 리뷰] TSLANet: Rethinking Transformers for Time Series Representation Learning

Emadeldeen Eldele, Mohamed Ragab외 3명|arXiv (Cornell University)|2024. 04. 12.

Time Series Analysis and Forecasting인용 수 22

한 줄 요약

TSLANet은 FFT 기반 처리와 적응 고주파 임계값 설정이 가능한 Adaptive Spectral Block을 포함하고, Interactive Convolution Block 및 self-supervised pretraining으로 다양한 작업을 다루는 시계열용 보편적이며 경량의 합성곱 모델을 제시한다.

ABSTRACT

Time series data, characterized by its intrinsic long and short-range dependencies, poses a unique challenge across analytical applications. While Transformer-based models excel at capturing long-range dependencies, they face limitations in noise sensitivity, computational efficiency, and overfitting with smaller datasets. In response, we introduce a novel Time Series Lightweight Adaptive Network (TSLANet), as a universal convolutional model for diverse time series tasks. Specifically, we propose an Adaptive Spectral Block, harnessing Fourier analysis to enhance feature representation and to capture both long-term and short-term interactions while mitigating noise via adaptive thresholding. Additionally, we introduce an Interactive Convolution Block and leverage self-supervised learning to refine the capacity of TSLANet for decoding complex temporal patterns and improve its robustness on different datasets. Our comprehensive experiments demonstrate that TSLANet outperforms state-of-the-art models in various tasks spanning classification, forecasting, and anomaly detection, showcasing its resilience and adaptability across a spectrum of noise levels and data sizes. The code is available at https://github.com/emadeldeen24/TSLANet.

연구 동기 및 목표

• 다양한 시계열 작업을 위한 보편적이고 경량의 네트워크를 소개한다.
• 합성곱 연산으로 장거리 및 단거리 의존성을 모두 포착한다.
• 트랜스포머에 비해 노이즈 민감도를 줄이고 효율성을 향상한다.
• 적응 스펙트럴 처리와 interactive convolution을 통해 특징 표현을 향상한다.
• 데이터셋 전반에 걸쳐 강건성을 높이기 위해 셀프-감독 사전학습을 활용한다.

제안 방법

• Self-attention을 Adaptive Spectral Block으로 교체하여 푸리에 도메인 처리와 적응적 고주파 임계값 필터링을 수행한다.
• 스펙트럴 도메인에서 전역 및 로컬 학습 가능 필터를 사용하여 통합 스펙트럴 표현을 만든다.
• 출력이 서로를 조절하는 다중 커널 합성곱을 가진 Interactive Convolution Block을 도입한다.
• 처리용 임베딩을 형성하기 위해 학습 가능한 위치 임베딩을 가진 입력 시계열을 패치로 분할한다.
• 스펙트럴 처리 후 시간 도메인으로 되돌리기 위해 역변환(inverse FFT)을 적용한다.
• 패치 수준 재구성에 초점을 맞춘 마스크된 오토인코더 패러다임을 통해 셀프-감독 사전학습을 도입한다.

Figure 1 : A comparison between CNN and Transformer-based architectures for classification and forecasting tasks. Classification results are the average over 10 UEA datasets ( Wu et al. , 2023 ) , while forecasting results are the average MSE results on lengths {96, 192, 336, 720}.

실험 결과

연구 질문

• RQ1 적응 스펙트럴 처리를 갖춘 합성곱 기반 아키텍처가 시계열 분류, 예측, 이상 탐지에서 Transformer 기반 모델과 대등하거나 더 우수한 성능을 낼 수 있는가?
• RQ2 적응적 주파수 도메인 필터링이 노이즈 강건성과 장거리/단거리 의존성 모델링에 어떤 영향을 미치는가?
• RQ3 다중 스케일의 시간적 패턴 캡처에 대한 Interactive Convolution Block의 영향은 무엇인가?
• RQ4 셀프-감독 사전학습이 다양한 시계열 데이터세트에서 성능과 강건성을 향상시키는가?

주요 결과

• TSLANet은 분류, 예측, 이상 탐지 과제에서 여러 최첨단 기준선보다 우수한 성능을 달성한다.
• 적응형 고주파 임계값 설정을 갖춘 Adaptive Spectral Block (ASB)은 관련 스펙트럴 정보를 보존하면서 노이즈를 감소시킨다.
• Interactive Convolution Block은 다중 스케일 합성곱 간의 상호 작용을 가능하게 하여 특징 추출을 향상시킨다.
• 셀프-감독 사전학습은 데이터세트 전반에 걸친 표현 품질과 강건성을 추가로 향상시킨다.
• TSLANet은 일부 Transformer 기반 모델에 비해 FLOPs와 파라미터 수가 더 낮으면서도 경쟁력 있는 정확도를 제공한다.
• ASB 또는 ICB를 제거하면 성능이 크게 감소한다는 제거(ablations) 연구가 그들의 기여를 입증한다.

Figure 2 : The structure of our proposed TSLANet . The input time series is split into patches, and positional embeddings are added. Next, the output embeddings pass through TSLANet layers, where each layer consists of two main components. The first is the Adaptive Spectral Block, which leverages fr