[論文レビュー] Sequential Models in the Synthetic Data Vault

Kevin Zhang, Neha Patki+1 more|arXiv (Cornell University)|Jul 28, 2022

Time Series Analysis and Forecasting被引用数 12

ひとこと要約

本論文では、複数のシーケンスにわたる行間の依存関係をモデル化する条件付き確率的自己回帰ニューラルネットワークを活用して、高精細な合成順序データを生成するための順序SDVフレームワークとCPARモデルを導入する。CPARモデルは、CTGANのような非順序モデルに比べて、より高レベルのパターンを学習でき、元のデータの範囲を超えて新しいシーケンスを生成し、プライバシーを損なわずともデータ品質を維持できる。

ABSTRACT

The goal of this paper is to describe a system for generating synthetic sequential data within the Synthetic data vault. To achieve this, we present the Sequential model currently in SDV, an end-to-end framework that builds a generative model for multi-sequence, real-world data. This includes a novel neural network-based machine learning model, conditional probabilistic auto-regressive (CPAR) model. The overall system and the model is available in the open source Synthetic Data Vault (SDV) library {https://github.com/sdv-dev/SDV}, along with a variety of other models for different synthetic data needs. After building the Sequential SDV, we used it to generate synthetic data and compared its quality against an existing, non-sequential generative adversarial network based model called CTGAN. To compare the sequential synthetic data against its real counterpart, we invented a new metric called Multi-Sequence Aggregate Similarity (MSAS). We used it to conclude that our Sequential SDV model learns higher level patterns than non-sequential models without any trade-offs in synthetic data quality.

研究の動機と目的

• 混合データ型、不規則な間隔、複数の独立したシーケンスを含む、複雑な構造を持つ現実世界の順序データセットにおける合成データ生成の増大するニーズに対応する。
• CTGANのような非順序生成モデルの限界を克服する。非順序モデルは行間の依存関係をモデル化できず、観測範囲を超えて外挿できないし、新しいシーケンスを生成できない。
• 前処理を最小限に抑えることができ、変化しないコンテキストカラムや欠損値の処理も可能である、柔軟でエンドツーエンドのフレームワークを構築する。
• 実際のシーケンスデータの質を定量的に評価するための新規指標である「マルチシーケンス集約類似度（MSAS）」を導入する。
• CPARモデルがCTGANと同等の合成データ品質を達成すると同時に、シーケンスの匿名化、データ拡張、長期予測といった高度な機能を実現できることを示す。

提案手法

• 複数のシーケンス、混合型、現実世界のデータに特化した、行間の依存関係をモデル化するエンドツーエンドのシステムとして、順序SDVフレームワークを設計する。
• 条件付き確率的自己回帰（CPAR）モデルを提案。このニューラルネットワークは、シーケンスのコンテキストと履歴を条件として、次の行の分布パラメータを予測する。
• 全シーケンス履歴から学習できるように設計されたカスタム損失関数を用い、複数タイムステップ離れた行間の長距離依存関係を捉える。
• シーケンスをバッチ、時刻、特徴量の3次元データ構造としてモデル化することで、複数の独立したシーケンスにわたる広範なトレンドを学習可能にする。
• 予測された分布からサンプリングすることで合成データを生成し、同一のコンテキストでも多様なシーケンスを確率的生成可能にする。
• 実際のシーケンスと合成シーケンスの統計的性質をスケールで比較することで、複数のシーケンスにわたる類似度を集約する新規指標MSASを実装する。

実験結果

リサーチクエスチョン

• RQ1 混合データ型と不規則な間隔を持つ現実世界の順序データにおいて、生成モデルは複雑な行間依存関係を効果的に学習し、再現できるか？
• RQ2 CTGANのような非順序モデルと比較して、順序生成モデルの合成データ品質と実用性はどの程度向上するか？
• RQ3 順序モデルは、いかなる実際のシーケンスに対しても直接マッピングされない、完全に新しい匿名化されたシーケンスをどの程度生成できるか？
• RQ4 モデルは元のデータの観測時間範囲を超えて外挿可能であり、将来的な予測能力を有するか？
• RQ5 共有コンテキストを持つ3次元データ構造としてシーケンスをモデル化することで、合成データ品質に悪影響を及げず、一般化性能とデータ実用性が向上するか？

主な発見

• CPARモデルは、CTGAN（非順序のGANベースのモデル）と同等の合成データ品質を達成しているが、はるかに複雑な依存関係をモデル化している。
• CPARモデルは、実際のシーケンスに直接関連しない完全に新しいシーケンスを生成でき、シーケンスの識別子を匿名化することで強力なプライバシー保護を実現できる。
• 非順序モデルの主な限界を克服し、元のデータセットに存在する数よりも多くの合成シーケンスを生成できるため、データ拡張が可能である。
• CPARモデルは観測時間範囲を超えてシーケンスを外挿可能であり、将来的な予測が可能である。これは非順序モデルには欠けている機能である。
• 混合データ型、欠損値、不規則な間隔を含む多様な現実世界のデータセットにおいて、CPARモデルは高品質な合成データ生成を維持している。
• MSAS指標は、スケールで実際のシーケンスと合成シーケンスの類似度を的確に捉えており、モデルが高レベルの順序パターンを保持できることを検証した。