[論文レビュー] Synthcity: facilitating innovative use cases of synthetic data in different data modalities

Zhaozhi Qian, Bogdan-Constantin Cebere+1 more|arXiv (Cornell University)|Jan 18, 2023

Advanced Data Storage Technologies被引用数 25

ひとこと要約

Synthcityは、公平性、プライバシー、データ拡張に焦点を当てた、多様な表形式データモダリティに対するモジュラーな生成器と評価ツールを提供するオープンソースプラットフォームです。迅速なベンチマーク、実験、クロスドメインワークフローを可能にします。

ABSTRACT

Synthcity is an open-source software package for innovative use cases of synthetic data in ML fairness, privacy and augmentation across diverse tabular data modalities, including static data, regular and irregular time series, data with censoring, multi-source data, composite data, and more. Synthcity provides the practitioners with a single access point to cutting edge research and tools in synthetic data. It also offers the community a playground for rapid experimentation and prototyping, a one-stop-shop for SOTA benchmarks, and an opportunity for extending research impact. The library can be accessed on GitHub (https://github.com/vanderschaarlab/synthcity) and pip (https://pypi.org/project/synthcity/). We warmly invite the community to join the development effort by providing feedback, reporting bugs, and contributing code.

研究の動機と目的

• 高リスク領域におけるデータ不足、プライバシー、バイアスの問題のため、AIにおける合成データの必要性を動機づける。
• データモダリティ全体で合成データの生成、評価、ベンチマーキングを統合するモジュラー型ソフトウェアプラットフォームを紹介する。
• ジェネレーター、指標、クロスドメインデータシナリオを試すための拡張可能なワークフローとツールを提供する。
• 静的、時系列、打ち切りデータ（censored）を含む表形式データモダリティと、メタデータ指針を備えた複合データセットのサポートを強調する。

提案手法

• データローダー（DataLoader）、プラグイン（generator）、generate、Metrics コンポーネントを備えたモジュラーなワークフローを提示し、合成データの生成と評価を効率化する。
• さまざまなデータモダリティとユースケースに適したプラグイン（ジェネレーター）と、それに対応するネットワークアーキテクチャのスイートをカタログ化する。
• 忠実度、有用性、プライバシーを網羅する評価指標を説明し、ジェネレーターを比較するためのBenchmarkツールを提供する。
• 単一データセットと複合データセットの取り扱い、メタデータ指針、および欠損データ処理（予定の拡張）を詳述する。
• 他のライブラリと synthcity を比較し、より広範なモダリティとユースケースのサポートを強調する。

Figure 1: Synthcity covers diverse problem settings by mapping different data modalities and use cases to a host of deep learning and traditional data generation algorithms.

実験結果

リサーチクエスチョン

• RQ1 統合されたプラットフォームは、合成データ生成においてさまざまなデータモダリティとユースケース（公平性、プライバシー、拡張）をどのようにサポートできるか？
• RQ2 静的、時系列、打ち切りデータ、複合表データ全般で、どの組み合わせのジェネレーター、アーキテクチャ、評価指標が最も効果的か？
• RQ3 モジュラーで相互運用性のあるライブラリは、実世界の設定でのベンチマーキング、テスト、合成データ手法の普及を改善できるか？
• RQ4 合成データ生成と下流の有用性を最適化する実践的なワークフローとメタデータ指針は何か？
• RQ5 モダリティのカバー範囲と評価機能の観点で、synthcityは既存のライブラリとどう比較されるか？

主な発見

• Synthcityは、表形式データに対する主要な合成データ利用ケース（公平性、プライバシー、拡張）をカバーするベータライブラリを提供します。
• DataLoader、Plugins、generate、Metrics からなる標準化されたワークフローと、ジェネレーターを比較するための Benchmark ツールを提供します。
• 静的データ、定常時系列、非定常時系列、打ち切りデータ、複合データセットをメタデータ指針とともにサポートします。
• 忠実度、有用性、プライバシーを評価する幅広い評価指標が含まれており、包括的な評価を実現します。
• Synthcityはオープンソースで、将来のバージョンでより多くのモダリティとジェネレーターを追加する予定の、コミュニティ主導のプロジェクトとして位置づけられています。
• 他のオープンソースライブラリと比較して、Synthcityはより広範なデータモダリティとユースケースのカバーを主張します。

Figure 2: Standard workflow of generating and evaluating synthetic data with synthcity.