[論文レビュー] GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks

Jinsung Jeon, Jeonghak Kim+3 more|arXiv (Cornell University)|Oct 5, 2022

Time Series Analysis and Forecasting被引用数 21

ひとこと要約

GT-GANは、オートエンコーダ、NODE/NCDE、連続時間フロー過程を統合し、厳密尤度訓練を用いて規則的および非規則的な時系列を合成できる汎用的なGANベースのフレームワークを提示する。

ABSTRACT

Time series synthesis is an important research topic in the field of deep learning, which can be used for data augmentation. Time series data types can be broadly classified into regular or irregular. However, there are no existing generative models that show good performance for both types without any model changes. Therefore, we present a general purpose model capable of synthesizing regular and irregular time series data. To our knowledge, we are the first designing a general purpose time series synthesis model, which is one of the most challenging settings for time series synthesis. To this end, we design a generative adversarial network-based method, where many related techniques are carefully integrated into a single framework, ranging from neural ordinary/controlled differential equations to continuous time-flow processes. Our method outperforms all existing methods.

研究の動機と目的

• アーキテクチャを変更せずに規則的・非規則的な時系列の双方を合成できる単一モデルの必要性を提起する。
• GT-GANフレームワークを提案し、GAN、オートエンコーダ、NCDE、CTFPを組み合わせ、厳密尤度訓練を実現する。
• 包括的な実験を通じて、規則データおよび非規則データセットの既存ベースラインに対する優れた性能を示す。

提案手法

• 可逆な生成器をオートエンコーダと組み合わせ、変換公式定理を介して厳密尤度訓練を可能にする。
• 実データの時系列を隠れベクトルに符号化し、GRU-ODE/GRUベースのデコーダで連続パスを再構成するオートエンコーダ経路。
• 連続時間フロープロセス（CTFP）を介して隠れベクトルを出力する生成器と、生成パスを評価する識別器を用いるGANベースの敵対的経路。
• ログ密度経路は、ログ密度の Hutchinson のトレース推定器を用いて生成器の厳密な最尤推定（MLE）訓練を可能にする。
• 再構成損失、GAN損失、および周期的なMLE損失を組み合わせた訓練手順でモード崩壊を回避する。
• 連続パスから時刻をサンプリングすることで非規則時系列をサポートする統一フレームワーク。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャを変更せずに単一のモデルが規則的もしくは非規則的な時系列の双方を合成できるか？
• RQ2 GANとNCDE、GRU-ODE、およびCTFPを統合することで、多様な時系列の合成品質が向上するか？
• RQ3 時系列合成における生成器の性能に対して厳密尤度訓練は有益か？
• RQ4 GT-GANは規則データと非規則データの両方で、専門的なベースラインと比較してどの程度性能を発揮するか？

主な発見

Method	Sines (Discriminative)	Stocks (Discriminative)	Energy (Discriminative)	MuJoCo (Discriminative)	Sines (Predictive)	Stocks (Predictive)	Energy (Predictive)	MuJoCo (Predictive)
GT-GAN	.012	.077	.221	.245	.097	.040	.312	.055
TimeGAN	.011	.102	.236	.409	.093	.038	.273	.082
RCGAN	.022	.196	.336	.436	.097	.040	.292	.081
C-RNN-GAN	.229	.399	.499	.412	.127	.038	.483	.055
T-Forcing	.495	.226	.483	.499	.150	.022	.315	.142
P-Forcing	.430	.257	.412	.500	.116	.004	.303	.102
WaveNet	.158	.232	.397	.385	.117	.042	.311	.333
WaveGAN	.277	.217	.363	.357	.134	.041	.307	.324
Original	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A

• GT-GANは、正弦波系、株価、エネルギー、MuJoCoデータセットを横断した規則的時系列の合成で、識別的・予測的指標の両方でベースラインを上回る。
• GT-GANは、30%、50%、70%の複数のドロップ率にわたって非規則時系列で優れた識別および予測スコアを達成する。
• アブレーション研究は、式(8)のログ密度訓練、事前学習、または他のサブ部品を欠く変種よりも全体モデルが優れていることを示している。
• 視覚化は、規則設定でTimeGANよりも元データ分布をよりよくカバーすることをGT-GANが示している。
• アブレーションは統合アーキテクチャの必要性を示し、部品を削除するとタスク全体で性能が低下する。