[論文レビュー] CTAB-GAN: Effective Table Data Synthesizing

Zilong Zhao, Aditya Kunar+3 more|arXiv (Cornell University)|Feb 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 63

ひとこと要約

CTAB-GAN は、混合データ型を扱うタブular データの条件付き GAN で、長尾分布と不均衡分布に対応し、以前の方法より機械学習の有用性と統計的類似性を改善します。

ABSTRACT

While data sharing is crucial for knowledge development, privacy concerns and strict regulation (e.g., European General Data Protection Regulation (GDPR)) unfortunately limit its full effectiveness. Synthetic tabular data emerges as an alternative to enable data sharing while fulfilling regulatory and privacy constraints. The state-of-the-art tabular data synthesizers draw methodologies from generative Adversarial Networks (GAN) and address two main data types in the industry, i.e., continuous and categorical. In this paper, we develop CTAB-GAN, a novel conditional table GAN architecture that can effectively model diverse data types, including a mix of continuous and categorical variables. Moreover, we address data imbalance and long-tail issues, i.e., certain variables have drastic frequency differences across large values. To achieve those aims, we first introduce the information loss and classification loss to the conditional GAN. Secondly, we design a novel conditional vector, which efficiently encodes the mixed data type and skewed distribution of data variable. We extensively evaluate CTAB-GAN with the state of the art GANs that generate synthetic tables, in terms of data similarity and analysis utility. The results on five datasets show that the synthetic data of CTAB-GAN remarkably resembles the real data for all three types of variables and results into higher accuracy for five machine learning algorithms, by up to 17%.

研究の動機と目的

• GDPRの下でプライバシーを保護する代替手段として合成表形式データを動機付ける。
• 連続値とカテゴリ値の混在、および欠損値をモデル化できるGANベースの生成器を開発する。
• 新規のエンコーディングと訓練戦略を用いて、長尾分布と高度に不均衡な分布に対処する。
• 分類器と情報損失を組み込み、意味的一貫性と訓練の安定性を向上させる。
• 複数のデータセットで最先端の表形式データ生成器と比較して、MLの有用性、統計的類似性、プライバシー近似を評価する。

提案手法

• CTAB-GANを導入する、生成器、識別器、補助分類器を備えた条件付きテーブルGANとして。
• 混合型エンコーダを用いて、混在するカテゴリ値・連続値と欠損値をモードベースのエンコードを連結して表現する。
• 実データと合成データの一階・二階統計を揃える情報損失を組み込む。
• 生成レコードの意味的一貫性を強化するため、補助分類器を介した分類損失を追加する。
• 不均衡な変数のモード崩壊を軽減するため、条件ベクトルの対数頻度サンプリングを採用する。
• 長尾を持つ連続変数を対数変換で前処理し、変分ガウス混合におけるモード学習を改善する。

実験結果

リサーチクエスチョン

• RQ1 CTAB-GAN は欠損値を含む連続値・カテゴリ値・混合データを正確にモデル化できるか？
• RQ2 最先端の表形式データ GAN と比較して、合成データを用いた ML 分析の有用性を向上させるか？
• RQ3 CTAB-GAN は実データとの統計的類似性（分布や相関）をどの程度保持するか？
• RQ4 同業他社と比較して CTAB-GAN 生成データに関連するプライバシーリスクはどの程度か？

主な発見

手法	精度	F1スコア	AUC
CTAB-GAN	9.83%	0.127	0.117
CTGAN	21.51%	0.274	0.253
TableGAN	11.40%	0.130	0.169
MedGAN	14.11%	0.282	0.285
CW-GAN	20.06%	0.354	0.299

• CTAB-GAN は 5 つのデータセットで ML 有用性において CTGAN、TableGAN、CW-GAN、MedGANを上回る（精度、F1、AUC の差）。
• CTAB-GAN は、平均的に競合より統計的類似性が高い（JSD が小さく、WD が小さく、相関が近い）。
• CTAB-GAN は TableGAN などより距離ベースのプライバシー関連指標が強く、ユーティリティを維持しつつプライバシーリスクを低減していることを示す。
• アブレーション研究は、分類器、情報損失、混合型エンコードがデータセット全体で性能向上に寄与することを確認した。