[論文レビュー] Diffusion Models for Time Series Applications: A Survey

Lequan Lin, Zhengkun Li+3 more|arXiv (Cornell University)|May 1, 2023

Complex Systems and Time Series Analysis被引用数 9

ひとこと要約

時系列予測、補完、生成のための拡散モデルを概説した調査で、DDPM、SGM、SDEを含み、TimeGrad、ScoreGrad、関連手法へのつながりを含む。

ABSTRACT

Diffusion models, a family of generative models based on deep learning, have become increasingly prominent in cutting-edge machine learning research. With a distinguished performance in generating samples that resemble the observed data, diffusion models are widely used in image, video, and text synthesis nowadays. In recent years, the concept of diffusion has been extended to time series applications, and many powerful models have been developed. Considering the deficiency of a methodical summary and discourse on these models, we provide this survey as an elementary resource for new researchers in this area and also an inspiration to motivate future research. For better understanding, we include an introduction about the basics of diffusion models. Except for this, we primarily focus on diffusion-based methods for time series forecasting, imputation, and generation, and present them respectively in three individual sections. We also compare different methods for the same application and highlight their connections if applicable. Lastly, we conclude the common limitation of diffusion-based methods and highlight potential future research directions.

研究の動機と目的

• 新しい研究者のための体系的な概観を提供するよう、時系列に適用された拡散モデルベースの手法を概説する。
• コアとなる拡散定式化（DDPM、SGM、SDE）を説明し、それらが時系列タスクにどのように適応されるかを解説する。
• 適用領域別に手法を分類する：予測、補完、生成、そして時空間拡張について論じる。

提案手法

• 順方向および逆方向の拡散過程と、ニューラルネットワークが逆転遷移をどのようにモデル化するかを説明する。
• DDPM、SGM、SDEの視点を、主要な方程式と単純化（例：ガウスノイズ、スコアマッチング）とともに提示する。
• TimeGradとScoreGradが履歴を条件付けとして用いることで、多変量時系列予測に拡散を適用する方法を説明する。
• ノイズの多い/データが限られた場合のデータ増強と潜在的分離を改善する、D3VAEの結合拡散とBVAEフレームワークを論じる。
• 連続ノイズ過程を持つ時系列の連続過程拡散変種としてDSPDとCSPDを紹介する。

実験結果

リサーチクエスチョン

• RQ1 時系列に適用可能な主な拡散モデル定式化（DDPM、SGM、SDE）は何で、それらは概念的・計算的にどのように異なるか？
• RQ2 時系列の予測、補完、生成のために拡散モデルがどのように適応されるか（履歴や共変量の条件付けを含む）？
• RQ3 主要モデル（TimeGrad、ScoreGrad、D3VAE、DSPD、CSPD）の問題定式化と目的におけるつながりと相違は何か？
• RQ4 時系列タスクへの拡散モデル適用における制約と今後の方向性は何か？

主な発見

• 拡散モデルフレームワークは、前方ノイズ注入と学習された逆ノイズ除去を通じて時系列に適合させることができ、予測、補完、生成を可能にする。
• DDPM、SGM、SDE定式化は時系列文脈の下で統一され、VP/VE SDEなどの変種や、サンプルを導く predictor-corrector サンプル法が存在する。
• TimeGradとScoreGradは、履歴コンテキストと共変量を条件付けとして用い、多変量系列の時系列ダイナミクスを捉えることを示す。
• D3VAEは、データ拡張と潜在的分離を目的とした結合拡散を導入し、限定的またはノイズの多いデータでの頑健性を向上させる。
• DSPDは、ガウス過程をノイズ関数として用い、連続時間過程へDDPMを一般化することで、連続時間予測と効率的な多点サンプリングを可能にする。
• CSPDはCSPDを連続確率過程へ拡張し、連続拡散と時系列拡散を統合する。]
• The survey highlights common limitations and outlines potential future research directions in diffusion-based time series methods.