[論文レビュー] Towards Better Long-range Time Series Forecasting using Generative Adversarial Networks

Shiyu Liu, Ghosh, Rohan+1 more|arXiv (Cornell University)|Oct 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 5

ひとこと要約

本論文は、条件付きワサーベインGANに基づく合成データ生成（CWGAN-TS）とトランスフォーマー予測器を組み合わせることで、バイアスとバリアンスのバランスを図る、新しい長期間時系列予測フレームワーク「Generative Forecasting (GenF)」を提案する。5つの公開データセットにおいて、最先端モデルと比較して5–11%低い平均絶対誤差を達成するとともに、パラメータ数を15–50%削減した。

ABSTRACT

Long-range time series forecasting is usually based on one of two existing forecasting strategies: Direct Forecasting and Iterative Forecasting, where the former provides low bias, high variance forecasts and the later leads to low variance, high bias forecasts. In this paper, we propose a new forecasting strategy called Generative Forecasting (GenF), which generates synthetic data for the next few time steps and then makes long-range forecasts based on generated and observed data. We theoretically prove that GenF is able to better balance the forecasting variance and bias, leading to a much smaller forecasting error. We implement GenF via three components: (i) a novel conditional Wasserstein Generative Adversarial Network (GAN) based generator for synthetic time series data generation, called CWGAN-TS. (ii) a transformer based predictor, which makes long-range predictions using both generated and observed data. (iii) an information theoretic clustering algorithm to improve the training of both the CWGAN-TS and the transformer based predictor. The experimental results on five public datasets demonstrate that GenF significantly outperforms a diverse range of state-of-the-art benchmarks and classical approaches. Specifically, we find a 5% - 11% improvement in predictive performance (mean absolute error) while having a 15% - 50% reduction in parameters compared to the benchmarks. Lastly, we conduct an ablation study to demonstrate the effectiveness of the components comprising GenF.

研究の動機と目的

• 直接予測ではバリアンスが高く、反復的予測ではバイアスが高いという、長期間時系列予測におけるバイアスとバリアンスの根本的トレードオフを解消すること。
• 合成データ生成を活用することで、長期間にわたる予測精度と耐障害性を向上させる新しい予測戦略の開発。
• 既存の最先端モデルを上回りつつ、モデル複雑性を低減するスケーラブルでパラメータ効率の良いフレームワークの設計。
• アブレーションと実証的評価を通じて、提案された構成要素（CWGAN-TS、トランスフォーマー予測器、情報理論的クラスタリング）の有効性の実証。

提案手法

• 将来のステップ用に合成時系列データを生成し、観測データと組み合わせることで長期間予測を実現する、新しい予測戦略「Generative Forecasting (GenF)」を提案する。
• 勾配ペナルティを用いて訓練を安定化させ、サンプル品質を向上させる条件付きワサーベインGANベースの生成器、CWGAN-TSを実装し、多次元時系列データの生成を実現する。
• 潜在空間内の代表的ユニットを特定するために情報理論的クラスタリング（ITC）アルゴリズムを統合し、生成器および予測器の訓練効率と一般化性能を向上させる。
• 実時系列および生成時系列の両方のシーケンスに注目するトランスフォーマーに基づく予測器を用い、文脈モデリングを改善することで長期間予測を実現する。
• 敵対的損失、再構成損失、およびクラスタリングに基づく正則化を組み合わせたマルチ目的損失を用いて、生成器と予測器を共同で訓練する。
• 時系列的設定におけるデータ漏洩を防ぐために、Population-Informed Cross-Validation (PICV) と Time Series Cross-Validation (TSCV) を適用して、妥当性と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 直接予測や反復的予測と比較して、合成データ生成は長期間時系列予測におけるバイアスとバリアンスのトレードオフを改善できるか？
• RQ2 提案されたCWGAN-TS生成器は、標準GANや他の条件付きGANの変種と比較して、高品質な多次元時系列データを生成できるか？
• RQ3 実観測データと生成データを統合することで、多様なデータセットにおいて予測精度がどの程度向上するか？
• RQ4 情報理論的クラスタリング（ITC）アルゴリズムは、生成器および予測器の訓練安定性と性能向上にどの程度効果的か？
• RQ5 GenFは厳密な時系列交差検証（TSCV）においても優れた性能を維持するか？これは、データ漏洩リスクに対する耐性を示唆する。

主な発見

• GenFは、5つの公開データセットにおいて、最先端のベンチマークと比較して、予測性能（平均絶対誤差）を5%から11%向上させた。
• 提案されたCWGAN-TS生成器は、標準GANと比較して合成データ生成誤差を81%低減し、勾配ペナルティを備えたCWGAN-GPベースラインと比較しても78%低減した。
• ITCアルゴリズムは、ランダム選択ベースライン（CWGAN-RS）と比較して、生成性能を62%向上させ、情報量の多い潜在ユニットの選択における価値を示した。
• GenFは、最先端モデルと比較して、パラメータ数を15%から50%削減しながら、性能を維持または向上させた。これは、高いパラメータ効率を示している。
• Time Series Cross-Validation (TSCV) の下で、GenFはすべてのベースラインを最低7.8%以上上回り、時間的順序のデータ分割に対して耐性があり、データ漏洩のリスクに強く、堅牢であることが確認された。
• アブレーションスタディの結果、CWGAN-TS生成器とITCアルゴリズムの両方が性能に顕著な寄与をしており、予測精度および生成品質の両面で重要であることが確認された。