[論文レビュー] On the Constrained Time-Series Generation Problem

Andrea Coletta, Sriram Gopalakrishan+2 more|arXiv (Cornell University)|Jul 4, 2023

Energy Load and Power Forecasting被引用数 7

ひとこと要約

本稿では、制約付き時系列生成のための新しいガイド付き拡散モデル、GuidedDiffTimeを提案する。このモデルは、再訓練を伴わず、新しい制約下でも効率的なサンプリングを可能にし、リアルな時系列を維持する。既存手法に比べて制約の満たし方において優れており、再訓練ゼロの推論により二酸化炭素排出量を最大92％削減する。金融・エネルギー分野における動的対応的シナリオ生成に最適である。

ABSTRACT

Synthetic time series are often used in practical applications to augment the historical time series dataset for better performance of machine learning algorithms, amplify the occurrence of rare events, and also create counterfactual scenarios described by the time series. Distributional-similarity (which we refer to as realism) as well as the satisfaction of certain numerical constraints are common requirements in counterfactual time series scenario generation requests. For instance, the US Federal Reserve publishes synthetic market stress scenarios given by the constrained time series for financial institutions to assess their performance in hypothetical recessions. Existing approaches for generating constrained time series usually penalize training loss to enforce constraints, and reject non-conforming samples. However, these approaches would require re-training if we change constraints, and rejection sampling can be computationally expensive, or impractical for complex constraints. In this paper, we propose a novel set of methods to tackle the constrained time series generation problem and provide efficient sampling while ensuring the realism of generated time series. In particular, we frame the problem using a constrained optimization framework and then we propose a set of generative methods including "GuidedDiffTime", a guided diffusion model to generate realistic time series. Empirically, we evaluate our work on several datasets for financial and energy data, where incorporating constraints is critical. We show that our approaches outperform existing work both qualitatively and quantitatively. Most importantly, we show that our "GuidedDiffTime" model is the only solution where re-training is not necessary for new constraints, resulting in a significant carbon footprint reduction, up to 92% w.r.t. existing deep learning methods.

研究の動機と目的

• 市場のストレス状況やエネルギー節約など、ユーザーが指定する数値的制約を満たすリアルな時系列を生成する課題に対処すること。
• 制約が変更された際に再訓練を必要とするか、高コストな拒否採用サンプリングに依存する既存の深層生成モデルの限界を克服すること。
• 金融・エネルギーなど多様な分野に応用可能な、柔軟で効率的かつスケーラブルな対応的時系列生成のための解決策を開発すること。
• 制約が変更された際に再訓練の必要がなくなることで、計算コストおよび二酸化炭素排出量を削減し、環境への影響を最小限に抑えること。
• 実データの統計的性質と複雑で多様な制約を両方満たす高品質な合成時系列を保証すること。

提案手法

• データの性質と制約を明示的にモデル化できるように、制約付き最適化問題（COP）として制約付き時系列生成問題を定式化する。
• 複数の制約をノイズ予測ネットワークを用いて条件付けすることで、生成を条件づける、条件付きノイズ除去拡散モデルであるDiffTimeを提案する。
• トレーニング中に微分可能な損失ペナルティによって制約を強制するLoss-DiffTimeを導入し、効率的なサンプリングを可能にするが、新しい制約には再訓練が必要となる。
• 推論時に制約埋め込みを用いて生成を調整することで、再訓練を不要とするガイド付き拡散モデルであるGuidedDiffTimeを開発する。
• 時間的依存性をモデル化し、高精細な時系列を生成するために、ノイズスケジュールとデノイジングU-Netアーキテクチャを用いる。
• 生成された系列の分布的類似性と時間的構造を評価するために、t-SNEおよび自己相関分析を適用する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、多様で複雑な制約を時系列生成に効果的に統合できる拡散ベースの生成モデルは、実現可能か？
• RQ2 GuidedDiffTimeは、既存手法と比較して、生成時系列の制約満たし率とリアルさにおいて優れているか？
• RQ3 制約に配慮した生成は、再訓練に基づくアプローチと比較して、二酸化炭素排出量をどの程度削減できるか？
• RQ4 提案されたモデルは、トレンド、固定値、グローバル最小値、多次元など、さまざまな種類の制約に対してどれほど一般化できるか？
• RQ5 制約の忠実度、サンプル品質、推論効率の間には、どのようなトレードオフが生じるか？

主な発見

• GuidedDiffTimeは、OHLC制約付きの株価データに対して72％の満たし率を達成し、RTSGAN（54％）やCOSCI-GAN（2％）を大きく上回りながらも、高いリアルさを維持している。
• COPベースラインは完全な制約満たし（100％）を達成するが、明示的最適化を必要とし、学習モデルに比べて柔軟性に欠ける。
• Loss-DiffTimeは69％の満たし率を達成し、効率的なサンプリングが可能だが、新しい制約には再訓練が必要であり、スケーラビリティに制限がある。
• GuidedDiffTimeは、再訓練に基づく深層学習手法と比較して、二酸化炭素排出量を最大92％削減し、持続可能な展開を可能にする。
• t-SNEの可視化から、GuidedDiffTimeとCOPは、実データに近い分布的類似性を持つ時系列を生成していることが確認され、ベースラインを上回っている。
• 自己相関分析において、GuidedDiffTimeは、競合モデルと比較してリターンの時間的ダイナミクスをよりよく保持しており、優れた生成忠実度を示している。