[論文レビュー] CTAB-GAN+: Enhancing Tabular Data Synthesis

Zilong Zhao, Aditya Kunar+2 more|arXiv (Cornell University)|Apr 1, 2022

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

CTAB-GAN+ は、新しいエンコーダー、勾配ペナルティ付きワサーラインン損失、回帰/分類のための下流タスクヘッド、および DP-SGD 訓練を用いて、データ合成の有用性とプライバシーを向上させる条件付きテーブル GAN である。さまざまなプライバシー予算下で、最先端の DP GAN よりも少なくとも 48.16% 高い有用性を達成している。

ABSTRACT

While data sharing is crucial for knowledge development, privacy concerns and strict regulation (e.g., European General Data Protection Regulation (GDPR)) limit its full effectiveness. Synthetic tabular data emerges as alternative to enable data sharing while fulfilling regulatory and privacy constraints. State-of-the-art tabular data synthesizers draw methodologies from Generative Adversarial Networks (GAN). As GANs improve the synthesized data increasingly resemble the real data risking to leak privacy. Differential privacy (DP) provides theoretical guarantees on privacy loss but degrades data utility. Striking the best trade-off remains yet a challenging research question. We propose CTAB-GAN+ a novel conditional tabular GAN. CTAB-GAN+ improves upon state-of-the-art by (i) adding downstream losses to conditional GANs for higher utility synthetic data in both classification and regression domains; (ii) using Wasserstein loss with gradient penalty for better training convergence; (iii) introducing novel encoders targeting mixed continuous-categorical variables and variables with unbalanced or skewed data; and (iv) training with DP stochastic gradient descent to impose strict privacy guarantees. We extensively evaluate CTAB-GAN+ on data similarity and analysis utility against state-of-the-art tabular GANs. The results show that CTAB-GAN+ synthesizes privacy-preserving data with at least 48.16% higher utility across multiple datasets and learning tasks under different privacy budgets.

研究の動機と目的

• GDPR などの厳しい規制下で、高有用性かつプライバシーを保護する合成テーブルデータを生成する課題に対処すること。
• 既存の GAN が混合連続・カテゴリカル変数、歪んだ分布、クラス不均衡を処理する際の限界を克服すること。
• 勾配ペナルティ付きワサーラインン損失と補助タスクヘッドを用いて、テーブル GAN の訓練安定性と一般化性能を向上させること。
• 単一判別器アーキテクチャに差分プライバシーを統合し、複雑さを低減しながら理論的プライバシー保証を確保すること。
• 複数のデータセットとプライバシー予算において、DP テーブル GAN のための堅牢なベンチマークを確立すること。

提案手法

• 下流タスクの性能向上を目的に、補助分類器および回帰器を備えた条件付き GAN フレームワークを導入する。
• 非バランスなカテゴリカル変数および歪んだ連続的特徴を含む、混合型変数に特化した新しいニューラルエンコーダーを採用する。
• GAN 訓練の安定化とモードカバレッジの向上を目的に、勾配ペナルティ付きワサーラインン距離（Was+GP）を用いる。
• サブサンプリングとモーメント会計師を用いて、判別器に DP-SGD を適用し、プライバシーコストを低減した (ε,δ)-差分プライバシーを強制する。
• PATE-GAN や GS-WGAN ようなマルチディスクラミネータアプローチと比較して、訓練を簡素化し複雑さを低減する単一ディスクラミネータアーキテクチャを採用する。
• RDP 基盤のプライバシー会計を用いて、累積プライバシー損失を δ=10−5 に設定した (ε,δ)-DP 範囲に変換する。

実験結果

リサーチクエスチョン

• RQ1 補助タスクヘッドを備えた条件付き GAN は、合成テーブルデータの機械学習有用性を顕著に向上させることができるか？
• RQ2 標準的な GAN アプローチと比較して、新規エンコーダーは混合型および歪んだテーブルデータをどれほど効果的にモデル化できるか？
• RQ3 Was+GP 損失は、標準的な GAN 目的関数と比較して、テーブル GAN の訓練安定性とデータ品質をどのように改善するか？
• RQ4 単一ディスクラミネータ型テーブル GAN に DP-SGD を効果的に適用することで、有用性を損なわせずに強力なプライバシー保証を達成できるか？
• RQ5 多様な実世界のテーブルデータセットにおいて、プライバシー予算と合成データ有用性のトレードオフはどのようなものか？

主な発見

• CTAB-GAN+ は、非プライベートな最先端 GAN よりも分類タスクで少なくとも 41.2% 高い正解率と 56.4% 高い AUC を達成した。
• ε=1 の条件下で、CTAB-GAN+ はすべての DP GAN ベースラインを、平均して正解率で少なくとも 48.16%、F1 スコアで 38.05% 超えて上回った。
• 統計的類似性のギャップを低減し、ε=1 のとき平均 JSD が 0.192、平均 WD が 775 にまで低下させ、PATE-GAN や DP-WGAN を顕著に上回った。
• ε=100 のときも、CTAB-GAN+ は強い性能を維持し、本物のデータと比較して正解率差が 13.34%、F1 スコア差が 0.311 にとどまり、緩いプライバシー予算下でも頑健であることが示された。
• GS-WGAN はすべての指標で最悪の性能を示し、正解率差が 64.10%、F1 スコアが 0.668 にまで達し、テーブルデータの複雑さを処理する際の限界を浮き彫りにした。
• サブサンプリングと DP-SGD の適用により、マルチディスクラミネータ型 DP-GAN よりもプライバシーコストと複雑さを低減しながら、優れた有用性を維持した。