[論文レビュー] TransFusion: Generating Long, High Fidelity Time Series using Diffusion Models with Transformers

Md Fahim Sikder, Resmi Ramachandranpillai+1 more|arXiv (Cornell University)|Jul 24, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

TransFusion は拡散モデルと Transformer エンコーダを組み合わせて、長く高忠実度の時系列を生成します（長さ384まで）、GAN の制約と長距離依存性の捕捉を改善します。

ABSTRACT

The generation of high-quality, long-sequenced time-series data is essential due to its wide range of applications. In the past, standalone Recurrent and Convolutional Neural Network-based Generative Adversarial Networks (GAN) were used to synthesize time-series data. However, they are inadequate for generating long sequences of time-series data due to limitations in the architecture. Furthermore, GANs are well known for their training instability and mode collapse problem. To address this, we propose TransFusion, a diffusion, and transformers-based generative model to generate high-quality long-sequence time-series data. We have stretched the sequence length to 384, and generated high-quality synthetic data. Also, we introduce two evaluation metrics to evaluate the quality of the synthetic data as well as its predictive characteristics. We evaluate TransFusion with a wide variety of visual and empirical metrics, and TransFusion outperforms the previous state-of-the-art by a significant margin.

研究の動機と目的

• 高次元・長シーケンスデータと広い適用範囲（例：EHR、軌跡、エネルギー）に対する合成時系列生成の動機づけ。
• モード崩壊を起こさず、高忠実性と多様なカバレッジを持つ長いシーケンスを生成できる生成モデルの開発。
• 長いシーケンスと予測特性に適した評価指標の提案。
• 拡散モデルと Transformer を組み合わせることで既存手法より品質が優れていることの実証。

提案手法

• 時系列データに対するデノイジング拡散確率モデル（DDPM）フレームワークを使用。
• 後方拡散過程でデータ分布を近似するために Transformer エンコーダを採用。
• 前方拡散にはコサイン分散スケジューラを適用し、Transformer 経路では位置エンコーディングを伴う線形射影を使用。
• シンプルな DDPM 目的関数で学習：L_simple = E_{t,x0,ε}[||ε − ε_θ(x_t,t)||^2]。
• 二つの Transformer ベースの評価指標を提供：事後判別者風の忠実度スコア（LDS）と長長さ予測スコア（LPS）。
• 拡散のみと Transformer のみの変種を比較するアブレーションを実施し、両方の要素の必要性を示す。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは従来のシーケンス長制限を超える高品質な長語時系列データを生成できるか？
• RQ2 拡散後向き過程に Transformer エンコーダを組み込むと長距離依存性の捉え方と忠実度が改善されるか？
• RQ3 新しい Transformer ベースの評価指標は、従来のCNN/RNNベースの指標より長尺合成データの忠実度と予測特性をより良く評価できるか？

主な発見

• TransFusion は長尺時系列（最大384）を高い忠実度で生成し、複数のデータセットで従来の最先端手法を上回る。
• 拡散モデルと Transformer の組み合わせが高品質で長尺データを達成するために必要であることを、アブレーション結果が示唆。
• 二つの Transformer ベース指標（Long-Sequence Discriminative Score と Long-Sequence Predictive Score）は、合成データの忠実度と予測特性を効果的に評価。
• TransFusion は視覚的評価（PCA/t-SNE）と経験的評価の両方で堅牢な性能を示し、予測タスクを含む GT-GAN、CotGAN、TimeGAN などを上回る。
• トレーニング効率：TransFusion は一部のベースラインよりもはるかに短いトレーニング時間で強力な結果を達成（報告設定で GT-GAN は約5時間、他方は約28時間）。
• 長尺と高次元データに対する頑健性を持ち、モード崩壊と長距離依存性の課題に対処している。