[論文レビュー] Time-series Transformer Generative Adversarial Networks

Padmanaba Srinivasan, William J. Knottenbelt|arXiv (Cornell University)|May 23, 2022

Time Series Analysis and Forecasting被引用数 9

ひとこと要約

TsT-GAN は、時間系列データの合成に向けた変換器ベースの生成対抗ネットワークを提案し、グローバルな同時分布と段階的条件付き依存関係を同時にモデル化する。マスク言語モデルとモーメントマッチングの目的関数を統合することで、5つのデータセットで最先端の性能を達成し、予測および判別タスクにおいて5つの最先端ベースラインを上回った。

ABSTRACT

Many real-world tasks are plagued by limitations on data: in some instances very little data is available and in others, data is protected by privacy enforcing regulations (e.g. GDPR). We consider limitations posed specifically on time-series data and present a model that can generate synthetic time-series which can be used in place of real data. A model that generates synthetic time-series data has two objectives: 1) to capture the stepwise conditional distribution of real sequences, and 2) to faithfully model the joint distribution of entire real sequences. Autoregressive models trained via maximum likelihood estimation can be used in a system where previous predictions are fed back in and used to predict future ones; in such models, errors can accrue over time. Furthermore, a plausible initial value is required making MLE based models not really generative. Many downstream tasks learn to model conditional distributions of the time-series, hence, synthetic data drawn from a generative model must satisfy 1) in addition to performing 2). We present TsT-GAN, a framework that capitalises on the Transformer architecture to satisfy the desiderata and compare its performance against five state-of-the-art models on five datasets and show that TsT-GAN achieves higher predictive performance on all datasets.

研究の動機と目的

• 医療やユーザ行動分析などの実世界の応用において、限られたまたはプライバシー制限のある時間系列データの課題に対処する。
• 時間系列全体の同時分布と、各時刻における条件付き分布の両方を捉える生成モデルを開発する。
• 自己回帰モデルにおける誤差蓄積を回避するため、自己教師あり事前学習を施した非自己回帰的で注意メカニズムに基づく生成器を採用する。
• GAN とマスクモデルを組み合わせた新しい訓練フレームワークを用いることで、下流タスクにおける合成時間系列データの汎化性と忠実度を向上させる。
• 定量的（TS-TR）および定性的（t-SNE）な評価を用いて、多様な時間系列ベンチマークにおいて5つの最先端モデルを上回る優れた性能を示す。

提案手法

• マスクされた時間系列トークンの再構成を目的としたマスク言語モデルを用いて、生成器を事前学習させ、表現学習を向上させる。
• 1次および2次の統計を実データと生成データで一致させるためのモーメントマッチング（MM）損失を統合し、分布の忠実度を向上させる。
• 判別器が実データと合成データを区別する条件付き GAN フレームワークを採用し、生成器はそれを欺くように訓練される。
• 生成器は最小二乗 GAN（LS-GAN）損失と補助的な MM 損失の両方を用いて訓練され、判別器は実データと生成データの区別に特化して訓練される。
• 入力時間系列を潜在空間に写像するための学習可能な埋め込み層を適用し、時系列依存関係のより良いモデル化を実現する。
• 生成器に双方向の変換器エンコーダーを採用し、長距離の時系列的文脈を捉えることで、自己回帰モデルに見られる誤差伝搬の問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースの GAN アーキテクチャは、時間系列データにおける同時分布と条件付き依存関係の両方を効果的にモデル化できるか？
• RQ2 マスク言語モデルを組み込むことで、標準的な GAN と比較して合成時間系列の品質はどの程度向上するか？
• RQ3 モーメントマッチングは、多様な時間系列データセットにおいて生成された系列の統計的忠実度をどの程度向上させるか？
• RQ4 合成データで学習した場合、提案アーキテクチャは下流の予測タスクにおいて既存の最先端モデルを上回る性能を示すか？
• RQ5 アブレーションスタディにより、各コンポonent（例：マスクモデル、埋め込み、モーメントマッチング）が全体の性能に果たす寄与度はどの程度か？

主な発見

• TsT-GAN は TS-TR ベンチマークにおいて、5つのデータセットすべてで最高の予測性能を達成し、ベースデータセットでは平均テスト損失 .010 ± .001 を記録し、すべてのベースラインを上回った。
• 判別スコア（合成系列が正しく分類された割合）において、TsT-GAN は Sines で .026 ± .018、Stocks で .122 ± .020、Energy で .442 ± .007 を達成し、強い分布類似性を示した。
• アブレーションスタディの結果、埋め込みネットワークを削除すると、Sines を除くすべてのデータセットで予測性能が著しく低下し、条件付きダイナミクスのモデル化におけるその重要性が示された。
• MM 損失と LS-GAN 損失のみを有するベースラインアブレーションモデルは、TsT-GAN よりも性能が劣っており、マスクモデルと埋め込みが性能に不可欠であることが示された。
• TsT-GAN の t-SNE ビジュアライゼーションでは、特に Air や Chickenpox のような複雑なデータセットにおいて、合成系列が潜在空間で実データとよく一致していることが確認された。
• 強力な性能を示したが、MM と埋め込みを除いたベースモデルは一部のデータセット（例：Air で .613 ± .015）で判別スコアが最も高かったため、依然として分布ギャップが残存していることが示された。