[論文レビュー] Generating High-fidelity, Synthetic Time Series Datasets with DoppelGANger.

Zinan Lin, Alankar Jain+3 more|arXiv (Cornell University)|Sep 30, 2019

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

DoppelGANger は、メタデータ生成と時系列生成を分離し、後者をメタデータで条件づけることで、連続的および離散的特徴を併せ持つ高精細度の合成時系列データを生成する GAN ベースのフレームワークである。ベースラインモデルと比較して最大 43% の高い忠実度を達成し、プライバシーを損なわず重要なデータ構造を保持する。

ABSTRACT

Limited data access is a substantial barrier to data-driven networking research and development. Although many organizations are motivated to share data, privacy concerns often prevent the sharing of proprietary data, including between teams in the same organization and with outside stakeholders (e.g., researchers, vendors). Many researchers have therefore proposed synthetic data models, most of which have not gained traction because of their narrow scope. In this work, we present DoppelGANger, a synthetic data generation framework based on generative adversarial networks (GANs). DoppelGANger is designed to work on time series datasets with both continuous features (e.g. traffic measurements) and discrete ones (e.g., protocol name). Modeling time series and mixed-type data is known to be difficult; DoppelGANger circumvents these problems through a new conditional architecture that isolates the generation of metadata from time series, but uses metadata to strongly influence time series generation. We demonstrate the efficacy of DoppelGANger on three real-world datasets. We show that DoppelGANger achieves up to 43% better fidelity than baseline models, and captures structural properties of data that baseline methods are unable to learn. Additionally, it gives data holders an easy mechanism for protecting attributes of their data without substantial loss of data utility.

研究の動機と目的

• 特許権のある時系列データに対するプライバシー制約により、ネットワーキング研究でデータアクセスが制限される問題に対処すること。
• 従来の合成データモデルが混合型時系列データを効果的に処理できないという限界を克服すること。
• 下流の応用に適したデータ有用性を維持しながら、スケーラブルでプライバシー保護型の合成データ生成フレームワークを開発すること。
• データ保有者が、元のデータの構造的および統計的性質を保持しつつ、機微な属性を保護する合成データセットを公開できるようにすること。

提案手法

• メタデータ（例：プロトコル名）の生成と時系列特徴（例：トラフィック測定値）の生成を分離する条件付き GAN アーキテクチャを採用する。
• メタデータを条件入力として用い、生成器がメタデータと意味的に整合性を持つ時系列データを生成できるようにする。
• メタデータと時系列の間の依存関係をモデル化するため、条件付き生成器と判別器を適用し、忠実度と構造的正確性を向上させる。
• 敵対的損失を用いてエンドツーエンドで学習を行い、合成サンプルが実データと区別できないようにする。
• スケールが異なる混合型データに対する訓練の安定化を図るため、特徴ワイズインスタンス正規化層を統合する。
• 2段階の訓練プロセスを採用：まずメタデータ生成器を訓練し、その後、メタデータ条件付きの時系列生成器を共同で訓練する。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのフレームワークは、実際の混合型データセットの複雑な構造的性質を保持する高忠実度の合成時系列データを生成できるか？
• RQ2 DoppelGANger の条件付きアーキテクチャは、離散的メタデータと連続的時系列特徴の間の依存関係をモデル化する点で、従来の GAN と比べてどのように優れているか？
• RQ3 DoppelGANger は、機微な属性を保護しつつ、どの程度のデータ有用性を維持できるか？
• RQ4 条件付き設計は、非条件付きまたは非条件付き GAN ベースラインと比較して、忠実度および一般化性能にどのような影響を与えるか？

主な発見

• DoppelGANger は、統計的および分布的類似性メトリクスで測定したところ、3 つの実世界の時系列データセットにおいて、ベースラインモデルと比較して最大 43% の高い忠実度を達成した。
• モデルは、ベースライン手法が再現できない長期的な時系列依存関係と、複数特徴間の相関関係を効果的に捉えている。
• DoppelGANger は、周期性、バースト性、および特徴の共起パターンといった構造的性質を、合成データにおいても保持している。
• データ保有者は、機微な属性（例：送信元 IP アドレス、デバイスタイプ）を効果的に匿名化できるが、分析やモデル学習に必要なデータ有用性に著しい損失を被らない。
• 条件付きアーキテクチャにより、メタデータと時系列生成の分離がより明確になり、より現実的で制御可能な合成サンプルが得られた。
• フレームワークは、連続的および離散的特徴を併せ持つ多様なネットワーキングデータセットにおいて、強固な性能を示した。