[論文レビュー] Causal-TGAN: Generating Tabular Data Using Causal Generative Adversarial Networks

Bingyang Wen, Luis Oliveros Colon+2 more|arXiv (Cornell University)|Apr 21, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用数 7

ひとこと要約

Causal-TGAN は、因果構造（特に構造的因果モデル（SCM））を活用する新しい生成対抗ネットワークであり、真の因果グラフが利用可能な場合、相関に基づく GAN よりも分布の忠実性と機械学習の有効性で優れる。シミュレートされたデータにおいて、ベースラインより平均 29% のログ尤度の向上を達成し、因果構造が推定された場合でも競争力ある性能を維持する。

ABSTRACT

Synthetic data generation becomes prevalent as a solution to privacy leakage and data shortage. Generative models are designed to generate a realistic synthetic dataset, which can precisely express the data distribution for the real dataset. The generative adversarial networks (GAN), which gain great success in the computer vision fields, are doubtlessly used for synthetic data generation. Though there are prior works that have demonstrated great progress, most of them learn the correlations in the data distributions rather than the true processes in which the datasets are naturally generated. Correlation is not reliable for it is a statistical technique that only tells linear dependencies and is easily affected by the dataset's bias. Causality, which encodes all underlying factors of how the real data be naturally generated, is more reliable than correlation. In this work, we propose a causal model named Causal Tabular Generative Neural Network (Causal-TGAN) to generate synthetic tabular data using the tabular data's causal information. Extensive experiments on both simulated datasets and real datasets demonstrate the better performance of our method when given the true causal graph and a comparable performance when using the estimated causal graph.

研究の動機と目的

• 表形式データ生成において統計的相関に依存する既存の GAN の限界を是正すること。
• 実際の表形式データを生成する背後にある因果プロセスをモデル化することで、合成データの品質を向上させること。
• 真の因果グラフが不明な場合でも、推定された因果構造を用いることで強力な性能を維持する手法を開発すること。
• 実データおよびシミュレートされたデータセットを用いて、分布の類似性と機械学習の有効性という指標でモデルを評価すること。

提案手法

• Causal-TGAN は、構造的因果モデル（SCM）における因果メカニズムを敵対的訓練によって学習する。各変数は、その直接の原因と外生的ノイズに基づいて生成される。
• 因果グラフ（DAG）を用いて因果構造を定義し、各内生変数 Xj は Xj = Fj(親(Xj), Uj) として生成される。ここで Uj は外生的ノイズである。
• 連続変数の符号化にガウス・ミックス・モデル（GMM）を統合し、離散変数にはワンホットエンコーディングを用いることで、マルチモーダルおよびカテゴリカルなデータ生成が可能になる。
• 生成器は、実データと合成データを区別するディスクラミネーターに対して敵対的に訓練され、生成器は因果グラフに条件付けられる。
• 本手法は連続、カテゴリカル、順序尺度の複数の変数タイプをサポートし、二値または連続変数に限定された先行の因果 GAN よりも拡張されている。
• 真の因果グラフが利用できない場合、Causal-TGAN はデータから推定された因果構造を用い、ベンチマーク全体で強力な性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 表形式データの真の因果構造をモデル化することで、統計的相関に依存する手法よりも優れた合成データ生成が可能になるか？
• RQ2 真の因果グラフが提供された場合、Causal-TGAN は最先端の GAN と比較してどのように性能を発揮するか？
• RQ3 真の因果グラフの代わりに推定された因果グラフを用いた場合、Causal-TGAN の性能はどのようになるか？
• RQ4 Causal-TGAN は、既存のモデルと同様に分布の類似性を保持し、下流の機械学習タスクを効果的にサポートできるか？
• RQ5 因果に基づく生成は、実世界の表形式データセットにおいて、データの忠実性と有用性の両方を向上させられるか？

主な発見

• 真の因果グラフを用いたシミュレートされたデータにおいて、Causal-TGAN は最高のログ尤度（平均 -9.87）を達成し、CTGAN や TableGAN を含むすべてのベースラインを上回った。
• 真の因果グラフを用いた場合、Causal-TGAN はシミュレートされたデータセットにおいて、他の GAN モデルと比較して平均 29% のログ尤度の向上を達成した。
• 実データセットでは、Causal-TGAN は KS および CS テストにおける平均カラム類似度で2番目に高いスコアを記録し、CTGAN と並ぶトップパフォーマーとなった。
• 機械学習の有効性に関しては、adult および news データセットで2番目のパフォーマンスを達成し、census データセットでは上位にランクインし、回帰タスクにおける平均 R² は -0.53 を記録した。
• 推定された因果グラフを用いても、Causal-TGAN は競争力ある性能を維持しており、真の因果構造がしばしば不明である現実世界の設定においても頑健であることが示された。
• 本モデルは優れた一般化性能を示し、多様な表形式データタイプにわたり、高い分布類似性と効果的な下流タスクのパフォーマンスを達成した。