[論文レビュー] A Survey on Deep Learning based Time Series Analysis with Frequency Transformation

Kun Yi, Qi Zhang+8 more|arXiv (Cornell University)|Feb 4, 2023

Time Series Analysis and Forecasting被引用数 12

ひとこと要約

本論文は、周波数変換が時系列分析の深層学習モデルをどのように強化するかを調査し、分類法を提案し、利点・制限・今後の方向性を概説する。

ABSTRACT

Recently, frequency transformation (FT) has been increasingly incorporated into deep learning models to significantly enhance state-of-the-art accuracy and efficiency in time series analysis. The advantages of FT, such as high efficiency and a global view, have been rapidly explored and exploited in various time series tasks and applications, demonstrating the promising potential of FT as a new deep learning paradigm for time series analysis. Despite the growing attention and the proliferation of research in this emerging field, there is currently a lack of a systematic review and in-depth analysis of deep learning-based time series models with FT. It is also unclear why FT can enhance time series analysis and what its limitations are in the field. To address these gaps, we present a comprehensive review that systematically investigates and summarizes the recent research advancements in deep learning-based time series analysis with FT. Specifically, we explore the primary approaches used in current models that incorporate FT, the types of neural networks that leverage FT, and the representative FT-equipped models in deep time series analysis. We propose a novel taxonomy to categorize the existing methods in this field, providing a structured overview of the diverse approaches employed in incorporating FT into deep learning models for time series analysis. Finally, we highlight the advantages and limitations of FT for time series modeling and identify potential future research directions that can further contribute to the community of time series analysis.

研究の動機と目的

• 周波数変換（DFT、DCT、DWT）が時系列分析をどのように支援するかを説明する。
• 予測、異常検知、分類のために周波情報を組み込むニューラルモデルを分類する。
• 時系列モデリングにおけるFTの利点と制限を要約する。
• 分類体系を提案し、有望な今後の研究方向を特定する。

提案手法

• 既存のFT搭載ニューラルモデルをレビューし、取り込みアプローチと値のタイプで分類する。
• 複素数周波数出力 vs 実数周波数出力で動作するニューラルネットのタイプを議論する。
• 予測、異常検知、分類にまたがる代表的なFTベースのモデルを要約する。
• FTが時系列モデリングを強化する理由を分析し、その制限を概説する。
• 分類体系（図2）を提案し、実務的含意を統合する。

Figure 1. Illustration of various working mechanisms applied to time series data. We take an example of four variables and $T$ timestamps, as shown in the left portion of the figure. (a) GNN constructs a graph connecting variables for each timestamp. (b) Self-attention builds temporal connections fo

実験結果

リサーチクエスチョン

• RQ1 ニューラル時系列モデルは周波数変換を取り入れるためにどのような戦略を用いているか？
• RQ2 時系列分析でFTを活用するニューラルネットワークタイプは何か？
• RQ3 予測、異常検知、分類のための代表的なFT搭載モデルは何か？
• RQ4 なぜ周波数変換が性能を向上させるのか、そしてその制限は何か？
• RQ5 FTベースの時系列分析をさらに前進させる将来の方向性は何か？

主な発見

• FTは全体的な視点を提供し、信号を周波数成分に分解して周期的パターンとマルチスケール表現を捉える。
• DWTベースのアプローチは多重解像度の時系列・周波数解析を可能にし、パターン発見を強化できる。
• FTは畳み込み定理を介して計算を効率化し、圧縮のためのスパース表現をサポートする。
• さまざまなFTベースのモデルが予測の効率と精度を向上させ、周波数領域表現を通じてデータを拡張する。
• 制限には時間情報の喪失の可能性や、窓関数や周波数帯域などのパラメータ選択への依存が含まれる。

Figure 2. A taxonomy of deep learning based time series analysis with frequency transformation.