[論文レビュー] SYNC: A Copula based Framework for Generating Synthetic Data from Aggregated Sources

Zheng Li, Yue Zhao+1 more|arXiv (Cornell University)|Sep 20, 2020

Gaussian Processes and Bayesian Inference参考文献 25被引用数 6

ひとこと要約

SynC は、ガウスカップリングを用いて依存関係と周辺分布をモデル化することで、直接的なデータ収集が困難またはプライバシー法規によって制限される低分解能の集計データソースから高分解能の合成個別データを生成する、新しいカップリングベースのフレームワークである。プライバシー保護型のデータ合成を可能にし、データ増強において優れた性能を示し（分類タスクで最大11%の精度向上）、スケーラブルでモジュラーな設計により、元の集計データと整合性を保つ。

ABSTRACT

A synthetic dataset is a data object that is generated programmatically, and it may be valuable to creating a single dataset from multiple sources when direct collection is difficult or costly. Although it is a fundamental step for many data science tasks, an efficient and standard framework is absent. In this paper, we study a specific synthetic data generation task called downscaling, a procedure to infer high-resolution, harder-to-collect information (e.g., individual level records) from many low-resolution, easy-to-collect sources, and propose a multi-stage framework called SYNC (Synthetic Data Generation via Gaussian Copula). For given low-resolution datasets, the central idea of SYNC is to fit Gaussian copula models to each of the low-resolution datasets in order to correctly capture dependencies and marginal distributions, and then sample from the fitted models to obtain the desired high-resolution subsets. Predictive models are then used to merge sampled subsets into one, and finally, sampled datasets are scaled according to low-resolution marginal constraints. We make four key contributions in this work: 1) propose a novel framework for generating individual level data from aggregated data sources by combining state-of-the-art machine learning and statistical techniques, 2) perform simulation studies to validate SYNC's performance as a synthetic data generation algorithm, 3) demonstrate its value as a feature engineering tool, as well as an alternative to data collection in situations where gathering is difficult through two real-world datasets, 4) release an easy-to-use framework implementation for reproducibility and scalability at the production level that easily incorporates new data.

研究の動機と目的

• 直接的なデータ収集が高コストである、またはプライバシー法規によって制限される状況において、高分解能の個別レベルの合成データを生成する課題に対処すること。
• 合成データと元の集計データソースとの間で統計的整合性を保つ、スケーラブルでモジュラーなフレームワークの開発。
• データが限られた状況における特徴工学的ツールとしての合成データの有効性を実証すること。
• オープンソース実装と新規データソースへの拡張性を備えた再現可能性とプロダクション適合性の確保。

提案手法

• ガウスカップリングを用いて集計データ内の依存関係をモデル化し、多次元的依存関係と周辺分布を捉える。
• 相関構造に基づいて特徴をバッチに分割することで次元削減を図り、計算効率を向上させる。
• 適合したカップリングモデルからサンプリングを行い、各データソースごとに高分解能の合成サブセットを生成する。
• 予測モデルを用いて、サンプリングされたサブセットを統合して1つの統一された合成データセットに統合する。
• 最終的な合成データセットを、元の低分解能の周辺制約（例：地域別合計）に一致させるようにスケーリングする。
• 外れ値検出と分布適合（ベータ分布／対数正規分布）を適用し、合成変数の現実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 カップリングベースのフレームワークは、集計済みで匿名化されたデータソースから、統計的整合性を保ちつつ個別レベルのデータを効果的に再構築できるか？
• RQ2 SynC は、元のデータの周辺分布と相関構造をどの程度正確に再現できるか？
• RQ3 SynC が生成する合成データは、データが限られた状況下での下流の機械学習性能をどの程度向上できるか？
• RQ4 SynC は、プライバシー制約のある環境において、直接的なデータ収集の代替手段としてスケーラブルかつプロダクション適合可能であるか？

主な発見

• SynC は、真の母集団の周辺分布と相関関係をよく再現する合成データを生成でき、公平性と現実性を確保した。
• 実世界の自動車産業の事例において、合成データの増強により分類精度が最大11%向上（SVM）し、5つの分類器の平均で6.2%の改善が得られた。
• 合成サンプルを再集計することで元の低分解能の合計値と一致することから、フレームワークは元の集計制約と整合性を保っていることが検証された。
• スケーラビリティ、モularity、および機械学習パイプラインへの統合性の観点から、従来の合成再構築法や組合せ最適化手法に比べ、SynC は優れた性能を示した。
• オープンソース実装により再現性が確保され、完全な再トレーニングなしに新規データソースの段階的統合が可能となった。