[論文レビュー] Synthesizing Tabular Data using Generative Adversarial Networks

Lei Xu, Kalyan Veeramachaneni|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 219

ひとこと要約

著者らはTGANを導入する。これはLSTMベースのGANで、混合の連続変数と離散変数を持つ表形式データを合成し、特徴量の相関を保持する点と大規模データセットへのスケーリングで従来の統計的生成モデルを上回る。彼らはTGAN生成データで訓練したMLモデルが実データで訓練したモデルの性能に近づくことを示している。

ABSTRACT

Generative adversarial networks (GANs) implicitly learn the probability distribution of a dataset and can draw samples from the distribution. This paper presents, Tabular GAN (TGAN), a generative adversarial network which can generate tabular data like medical or educational records. Using the power of deep neural networks, TGAN generates high-quality and fully synthetic tables while simultaneously generating discrete and continuous variables. When we evaluate our model on three datasets, we find that TGAN outperforms conventional statistical generative models in both capturing the correlation between columns and scaling up for large datasets.

研究の動機と目的

• 合成表形式データを共有・テスト・安全な探索を促進する必要性を動機づける。
• 表形式データの混在する数値的特徴とカテゴリ的特徴を処理できるGANベースの生成器を開発する。
• 多峰性および離散変数の生成を改善するための可逆変換とKLダイバージェンスに基づく正則化を導入する。
• TGANで合成されたデータで訓練したモデルが複数のデータセットで実データで訓練したモデルと同等の性能を達成することを示す。
• TGANは競合する合成データ手法よりも特徴間の相関をよりよく保持する。

提案手法

• 列ごとに表を生成するために注意機構を備えたLSTMベースの生成器を用いる。
• 可逆変換を適用する：多峰性の数値特徴はGaussian Mixture Modelsでクラスタリングし、カテゴリ特徴はノイズ付きでワンホットエンコードして再正規化する。
• 出力には連続変数値（vi）とクラスタ指標（ui）、さらには離散変数分布（di）が含まれる。
• 実データと合成データを識別する discriminator（MLP）を訓練し、ミニバッチの多様性を取り入れる。
• 生成分布を実データと整合させるために、GAN損失に加えて離散および連続成分のKLダイバージェンス項を用いて生成器を最適化する。
• 生成表現から元の特徴タイプを復元するための後処理を活用する。

実験結果

リサーチクエスチョン

• RQ1 異種の数値的およびカテゴリ的特徴を持つ表形式データを信頼性高く生成するように特化したGANモデルを設計できるか。
• RQ2 TGANはGC、BN-Id、BN-Coのような統計的合成法より列間相関をよりよく保持するか。
• RQ3 TGAN生成データで訓練したMLモデルは実データで訓練したモデルと同等の性能を達成するか。
• RQ4 TGANはデータユーティリティとプライバシー配慮を保ちながら大規模な表形式データセットにスケール可能か。
• RQ5 TGANは表形式データの周辺分布と結合分布の保持性能はどうか。

主な発見

Method	Real	GC	BN-Id	BN-Co	TGAN
DT max_depth = 10	74.65	48.61	32.26	32.24	68.70
DT max_depth = 20	75.11	48.64	31.16	31.77	64.42
SVM	71.30	-	-	25.69	67.77
RF max_depth = 10, estimators = 10	59.04	-	-	-	51.42
RF max_depth = 20, estimators = 10	70.95	-	-	32.26	65.89
AdaBoost	74.10	-	-	32.27	70.08
MLP layer_sizes = (100, )	75.47	53.15	25.5	26.34	71.81
MLP layer_sizes = (200, 200)	73.94	-	-	32.14	68.75

• TGANは列間の相関の捕捉と大規模データセットへのスケーリングにおいて従来の統計的生成モデルを上回る。
• TGAN生成データで訓練した機械学習モデルは実データで訓練したモデルに近い性能を達成し、平均ギャップは Census で約5.7%、他のデータセット全体でGCが約24.9%、BN-Coが約43.3%である。
• TGANはGCおよびBN-Coより変数間の相互情報構造（NMI）をよりよく保持する。NMI行列の比較から分かる。
• 最近傍距離分析は、TGAN生成データの分布が競合手法より実データに近いことを示している。
• Census、KDD99、Covertypeデータセットで、標準的なMLモデルを訓練する際、GC、BN-Co、BN-Idのベースラインに比べてTGANが一貫して高い精度を示す。
• TGANは合成データで訓練しても異なるMLモデルのランキングを維持し、合成データの有用性に基づくモデル選択を可能にする。