[論文レビュー] Conditional Sig-Wasserstein GANs for Time Series Generation

Shujian Liao, Hao Ni+4 more|arXiv (Cornell University)|Jun 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 18

ひとこと要約

本稿では、rough path理論におけるパスの特徴量であるパス・サグネチャを用いて、過去の観測値を条件とした将来の時系列の条件付き分布をモデル化する、新たなフレームワークである条件付きSig-Wasserstein GAN（SigCWGAN）を提案する。$W_1$-Wasserstein距離を明示的に表現するサグネチャ特徴空間を用いることで、高価なディスクライマー近似を回避し、安定かつ効率的な学習が可能となり、合成データおよび実世界のデータ（株価やビットコイン-米ドルレートを含む）において、現状で最も優れた性能を発揮する多変量時系列の生成を実現した。

ABSTRACT

Generative adversarial networks (GANs) have been extremely successful in generating samples, from seemingly high dimensional probability measures. However, these methods struggle to capture the temporal dependence of joint probability distributions induced by time-series data. Furthermore, long time-series data streams hugely increase the dimension of the target space, which may render generative modelling infeasible. To overcome these challenges, motivated by the autoregressive models in econometric, we are interested in the conditional distribution of future time series given the past information. We propose the generic conditional Sig-WGAN framework by integrating Wasserstein-GANs (WGANs) with mathematically principled and efficient path feature extraction called the signature of a path. The signature of a path is a graded sequence of statistics that provides a universal description for a stream of data, and its expected value characterises the law of the time-series model. In particular, we develop the conditional Sig-$W_1$ metric, that captures the conditional joint law of time series models, and use it as a discriminator. The signature feature space enables the explicit representation of the proposed discriminators which alleviates the need for expensive training. We validate our method on both synthetic and empirical dataset and observe that our method consistently and significantly outperforms state-of-the-art benchmarks with respect to measures of similarity and predictive ability.

研究の動機と目的

• 高次元の多変量時系列における複雑な時間的依存関係を、データ駆動型の非パラメトリック手法でモデル化する課題に取り組むこと。
• 高次元性と複雑な時間的・空間的相互作用のため、標準的なGANが時系列の連合分布を捉えるのを困難にしている制限を克服すること。
• 過去の観測値を条件とした将来の時系列の分布を学習する条件付き生成モデルを開発し、予測や対面的生成を可能にすること。
• ディスクライマーの学習を暗黙的に行うのではなく、明示的なサグネチャベースの$W_1$距離近似に置き換えることで、学習の複雑さを低減すること。
• 合成データおよび実データの両方で手法を検証し、分布の類似性と予測精度の両面で優れた性能を示すこと。

提案手法

• 本手法は、Wasserstein GAN（WGAN）と、時系列データの普遍的で階層的な特徴表現であるパスのサグネチャを統合する。このサグネチャは、指定された深さまで時間的ダイナミクスを捉える。
• 本手法は、過去のパスを条件とした将来パスの期待サグネチャを比較することで、時系列の条件付き法則間の距離を測定する、条件付きSig-$W_1$距離を導入する。
• ディスクライマーはサグネチャ特徴量を明示的に構築するため、ニューラルネットワークのクリティックをエンドツーエンドで学習する必要がなくなる。
• 生成器は、過去のセグメントを条件とした、実際の将来時系列と生成された将来時系列との間の条件付きSig-$W_1$距離を最小化するように学習される。
• フレームワークはスライディングウインドウを用いて、1つの長い時系列から複数の学習サンプルを抽出し、データ効率を向上させる。
• モデルは、サグネチャベースの$W_1$距離に基づくミニマックス目的関数を用いて学習され、安定的かつ効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 パスのサグネチャを用いて、条件付き時系列生成のための効率的かつ解釈可能なディスクライマーを構築できるか？
• RQ2 条件付きSig-$W_1$距離は、時間的依存性を保持しつつ、時系列の連合法則を効果的に捉えられるか？
• RQ3 サグネチャベースの$W_1$距離が、深層ニューラルネットワークのディスクライマーの学習を不要にできるか、学習の簡素化と安定性の向上に寄与するか？
• RQ4 SigCWGANフレームワークは、現実の時系列において、周辺分布、自己相関、予測$R^2$のモデリングにおいて、最先端のGANと比較してどのように優れているか？
• RQ5 本手法は、金融リターンや暗号資産レートなど、異なる時系列モダリティにどの程度一般化可能か？

主な発見

• S&P 500（SPX）およびダウ工業平均（DJI）データセットにおいて、SigCWGANは最小の周辺分布誤差（0.47107）と自己相関誤差（0.04075）を達成し、GANやGARCHモデルを含むすべてのベースラインを上回った。
• ビットコイン-米ドルデータセットでは、$R^2$スコアが0.3320（RCGANの0.3165よりわずかに低い）を記録したが、周辺分布（2.0532 vs. 2.8603）と自己相関（0.091 vs. 0.0532）の両面で顕著に優れていた。
• 図9に示すように、クロス相関構造の捉え方において優れた性能を示し、合成行列が構造的・大きさ的に実際のものに非常に近い。
• ACFプロット（図10）により、SigCWGANが生成した時系列が長距離の時間的依存性を保持していることが確認され、実際のACFからの絶対差の合計が最小であった。
• 合成データおよび実データの両方で、分布の類似性と予測能力の指標において、一貫した改善が得られ、最先端の結果を達成した。
• サグネチャ特徴量の明示的使用により、深層ニューラルネットワークのディスクライマーの学習が不要となり、著しく学習の簡素化と収束安定性の向上が達成された。