[論文レビュー] Transformer-based conditional generative adversarial network for multivariate time series generation

Abdellah Madane, Mohamed-djallel Dilmi+4 more|arXiv (Cornell University)|Oct 5, 2022

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

本論文では、分類ラベルや時系列データなどの文脈変数に条件付けすることで、複雑でマルチモーダルなデータ分布をモデル化する、Transformerベースの条件付き生成対抗ネットワーク（CGAN）を提案する。TTS-GANフレームワークを条件付き監視で拡張することで、高次元で長大な時系列を生成し、実データ分布に近く、UniMiBヒューマンアクティビティデータセットにおいて修正FIDおよびPCA指標を用いて優れた性能を達成する。

ABSTRACT

Conditional generation of time-dependent data is a task that has much interest, whether for data augmentation, scenario simulation, completing missing data, or other purposes. Recent works proposed a Transformer-based Time series generative adversarial network (TTS-GAN) to address the limitations of recurrent neural networks. However, this model assumes a unimodal distribution and tries to generate samples around the expectation of the real data distribution. One of its limitations is that it may generate a random multivariate time series; it may fail to generate samples in the presence of multiple sub-components within an overall distribution. One could train models to fit each sub-component separately to overcome this limitation. Our work extends the TTS-GAN by conditioning its generated output on a particular encoded context allowing the use of one model to fit a mixture distribution with multiple sub-components. Technically, it is a conditional generative adversarial network that models realistic multivariate time series under different types of conditions, such as categorical variables or multivariate time series. We evaluate our model on UniMiB Dataset, which contains acceleration data following the XYZ axes of human activities collected using Smartphones. We use qualitative evaluations and quantitative metrics such as Principal Component Analysis (PCA), and we introduce a modified version of the Frechet inception distance (FID) to measure the performance of our model and the statistical similarities between the generated and the real data distributions. We show that this transformer-based CGAN can generate realistic high-dimensional and long data sequences under different kinds of conditions.

研究の動機と目的

• 既存のTTS-GANモデルにおける単一モード生成の制限を解消し、複雑でマルチモーダルな時系列分布を捉えきれない問題に対処すること。
• 分類変数や他の時系列データなどの外部文脈に条件付けすることで、多変量時系列の条件付き生成を可能にすること。
• 個々の成分ごとに別々に訓練する必要なく、複数のサブコンポONENTを持つ混合分布を一度のモデルで適合できる統合型モデルの開発。
• ヒューマンアクティビティ認識などの実世界の時系列応用分野におけるデータ拡張およびシミュレーション能力の向上。
• 修正されたFrechet Inception Distance（FID）およびPCA分析を含む、定性的および定量的指標を用いてモデルの性能を評価すること。

提案手法

• モデルは、多変量時系列内の長距離時系列依存関係を捉えるために、Transformerベースの生成器および識別器アーキテクチャを採用する。
• 文脈ベクトルに基づいて生成をガイドするため、生成器に位置エンコーディングおよびクロスアテンション機構を介して条件付き入力を統合する。
• 識別器は、実際の時系列と生成された時系列を区別するように学習され、生成器は与えられた条件下で識別器をだませるような時系列を学習する。
• 特に高次元設定において、実データと生成データの分布の統計的類似性を評価するために、修正されたFID指標を導入する。
• 訓練を安定化させ、忠実度を向上させるために、敵対的損失、再構成損失、勾配ペナルティを組み合わせて、エンドツーエンドでモデルを訓練する。
• 分類変数に対しては埋め込み層を、多変量時系列入力に対しては特徴量ベースの条件付けを用いて、文脈的条件付けを実装する。

実験結果

リサーチクエスチョン

• RQ1 条件付きTransformerベースのGANは、単一モードモデルが捉えきれないマルチモーダルな多変量時系列分布を効果的にモデル化できるか？
• RQ2 外部文脈に条件づけることで、生成された時系列の多様性と現実性はどのように向上するか？
• RQ3 提案手法は、高次元で長大な時系列を生成する点で、既存のTTS-GANおよびベースラインGANをどの程度上回るか？
• RQ4 修正されたFID指標は、実データと生成データの分布類似性をどの程度的確に反映しているか？
• RQ5 分類ラベルや多変量系列などの異なる条件付けタイプが、生成品質に与える影響は何か？

主な発見

• 提案された条件付きTransformer-GANは、さまざまな条件付き文脈のもとで、現実的で高次元の多変量時系列を効果的に生成できた。
• 特にデータに複数のサブコンポonentが存在する場合、ベースラインTTS-GANに比べて、複雑でマルチモーダルなデータ分布を顕著に改善して捉えることができた。
• 修正FID指標は定性的な評価と強く相関しており、分布類似性評価の有効性を裏付けた。
• PCA分析により、生成された時系列が実データの主要成分を保持していることが確認され、忠実な構造的表現が実現されていることが示された。
• ベースラインモデルと比較して、FIDスコアが低く抑えられ、実データと生成データの分布の統計的類似性が向上していることが示された。
• 条件付き生成により、UniMiBデータセットからのアクティビティ固有の運動パターンなど、文脈に特化した多様な時系列を生成できるようになった。