[논문 리뷰] A Survey on Deep Learning based Time Series Analysis with Frequency Transformation

Kun Yi, Qi Zhang외 8명|arXiv (Cornell University)|2023. 02. 04.

Time Series Analysis and Forecasting인용 수 12

한 줄 요약

본 논문은 주파수 변환이 시계열 분석을 위한 딥 러닝 모델을 어떻게 향상시키는지에 대해 고찰하고, 분류 체계를 제안하며 이점, 한계 및 향후 방향을 개괄한다.

ABSTRACT

Recently, frequency transformation (FT) has been increasingly incorporated into deep learning models to significantly enhance state-of-the-art accuracy and efficiency in time series analysis. The advantages of FT, such as high efficiency and a global view, have been rapidly explored and exploited in various time series tasks and applications, demonstrating the promising potential of FT as a new deep learning paradigm for time series analysis. Despite the growing attention and the proliferation of research in this emerging field, there is currently a lack of a systematic review and in-depth analysis of deep learning-based time series models with FT. It is also unclear why FT can enhance time series analysis and what its limitations are in the field. To address these gaps, we present a comprehensive review that systematically investigates and summarizes the recent research advancements in deep learning-based time series analysis with FT. Specifically, we explore the primary approaches used in current models that incorporate FT, the types of neural networks that leverage FT, and the representative FT-equipped models in deep time series analysis. We propose a novel taxonomy to categorize the existing methods in this field, providing a structured overview of the diverse approaches employed in incorporating FT into deep learning models for time series analysis. Finally, we highlight the advantages and limitations of FT for time series modeling and identify potential future research directions that can further contribute to the community of time series analysis.

연구 동기 및 목표

• 주파수 변환(DFT, DCT, DWT)이 시계열 분석에 어떻게 도움을 주는지 설명한다.
• 예측, 이상 탐지 및 분류를 위한 주파수 정보를 통합하는 신경망 모델을 분류한다.
• 주파수 변환(FT)의 장점과 한계를 요약한다.
• 분류 체계를 제안하고 유망한 향후 연구 방향을 식별한다.

제안 방법

• 기존의 FT가 장착된 신경 모델을 검토하고 통합 방식 및 값의 유형에 따라 분류한다.
• 복소수 주파수 출력과 실수 주파수 출력에서 작동하는 신경망 유형을 논의한다.
• 예측, 이상 탐지 및 분류에 걸친 대표적인 FT 기반 모델을 요약한다.
• FT가 시계열 모델링을 왜 향상시키는지 분석하고 한계를 요약한다.
• 분류 체계(Fig. 2)를 제안하고 실용적 시사점을 종합한다.

Figure 1. Illustration of various working mechanisms applied to time series data. We take an example of four variables and $T$ timestamps, as shown in the left portion of the figure. (a) GNN constructs a graph connecting variables for each timestamp. (b) Self-attention builds temporal connections fo

실험 결과

연구 질문

• RQ1 신경 기반 시계열 모델은 주파수 변환을 통합하기 위해 어떤 전략을 사용합니까?
• RQ2 시계열 분석에서 FT를 활용하는 신경망 유형은 무엇입니까?
• RQ3 예측, 이상 탐지 및 분류를 위한 대표적인 FT 장착 모델은 무엇입니까?
• RQ4 주파수 변환이 왜 성능을 향상시키는지, 그리고 그 한계는 무엇입니까?
• RQ5 FT 기반 시계열 분석을 더 발전시키기 위한 향후 방향은 무엇입니까?

주요 결과

• 주파수 변환은 글로벌 뷰를 제공하고 신호를 주파수 성분으로 분해하여 주기적 패턴 및 다중 스케일 표현을 포착한다.
• DWT 기반 접근법은 다중 해상도 시-주파수 분석을 가능하게 하여 패턴 발견을 향상시킬 수 있다.
• 주파수 변환은 컨볼루션 정리에 의해 효율적인 계산을 가능하게 하고 압축을 위한 희소 표현을 지원한다.
• 다양한 FT 기반 모델이 예측의 효율성과 정확도를 향상시키고 주파수 도메인 표현을 통해 데이터를 보강한다.
• 한계로는 시간 정보의 손실 가능성 및 윈도잉(windowing)과 주파수 대역과 같은 매개변수 선택에 의존하는 점이 있다.

Figure 2. A taxonomy of deep learning based time series analysis with frequency transformation.