[論文レビュー] Invertible Tabular GANs: Killing Two Birds with OneStone for Tabular Data Synthesis

Jaehoon Lee, Jihyeon Hyeong+3 more|arXiv (Cornell University)|Feb 8, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、神経ODEに基づく可逆ニューラルネットワークを用いて、敵対的訓練と負の対数密度正則化を統合する一般化されたGANフレームワーク、可逆テーブルGAN（IT-GAN）を提案する。訓練中に負の対数密度を制御することにより、IT-GANは合成品質の向上（密度最小化による）とプライバシー保護の強化（密度最大化による）を同時に達成し、6つの実世界のテーブルデータセットにおいて、生成品質とプライバシー攻撃に対する耐性の両面でベースラインを上回る性能を発揮する。

ABSTRACT

Tabular data synthesis has received wide attention in the literature. This is because available data is often limited, incomplete, or cannot be obtained easily, and data privacy is becoming increasingly important. In this work, we present a generalized GAN framework for tabular synthesis, which combines the adversarial training of GANs and the negative log-density regularization of invertible neural networks. The proposed framework can be used for two distinctive objectives. First, we can further improve the synthesis quality, by decreasing the negative log-density of real records in the process of adversarial training. On the other hand, by increasing the negative log-density of real records, realistic fake records can be synthesized in a way that they are not too much close to real records and reduce the chance of potential information leakage. We conduct experiments with real-world datasets for classification, regression, and privacy attacks. In general, the proposed method demonstrates the best synthesis quality (in terms of task-oriented evaluation metrics, e.g., F1) when decreasing the negative log-density during the adversarial training. If increasing the negative log-density, our experimental results show that the distance between real and fake records increases, enhancing robustness against privacy attacks.

研究の動機と目的

• データ共有における高精度なテーブルデータ合成とプライバシー保護の二重課題に対処すること。
• 標準GANが現実性を重視するあまり、情報漏洩リスクを伴うという限界を克服すること。
• 制御可能な対数密度正則化を通じて、合成品質とプライバシー耐性のトレードオフを可能にする統合フレームワークの開発。
• 可逆生成器とオートエンコーダーの統合により、高次元テーブルデータにおける一般化性能と訓練安定性の向上。
• 分類、回帰、プライバシー攻撃のシナリオにおいて、多様なテーブルデータセット上でフレームワークの有効性を実証的に検証すること。

提案手法

• 生成器は神経ODEと可逆カップリング層に基づくもので、ハッチソン推定法を用いた不偏なヤコビアン行列式の推定により、正確な尤度推定が可能である。
• フレームワークは、合成品質の向上（最小化）またはプライバシー保護の強化（最大化）が可能な負の対数密度正則化項を導入している。
• オートエンコーダー（AE）を用いて高次元テーブルデータを低次元の潜在空間に射影し、可逆生成器の次元を維持するとともに、分離可能な学習を可能にする。
• GANの敵対的損失、AEの再構成損失、負の対数密度正則化を統合したジョイントトレーニングパイプラインをエンドツーエンドで最適化する。
• 2つの変種を導入：IT-GAN(Q)は対数密度を最小化することで合成品質を向上させ、IT-GAN(L)は最大化することでプライバシー耐性を強化する。
• 正則化の強度を制御するハイパーパrameter γ を用い、微調整可能なトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 可逆GANフレームワークにおける負の対数密度正則化は、テーブルデータ生成における合成品質とプライバシー保護の両面を向上させ得るか？
• RQ2 訓練中に負の対数密度を制御することで、実データと偽データの分布的類似性にどのような影響が生じるか？
• RQ3 提案手法は、合成テーブルデータに対する完全なブラックボックス攻撃の成功率をどの程度低減できるか？
• RQ4 オートエンコーダーと可逆生成器の統合は、高次元テーブルデータにおける訓練安定性と性能にどのように寄与するか？
• RQ5 潜在次元や正則化強度といったハイパーパrameterの最適な設定は、品質とプライバシーのバランスをとるためにどのようなものか？

主な発見

• 負の対数密度を最小化するIT-GAN(Q)は、タスク指向の性能が最良であり、Adult, Census, Credit, Cabs, Kingの各データセットで、すべてのベースラインを上回るF1スコアを達成した。
• 負の対数密度を最大化するIT-GAN(L)は、完全なブラックボックス攻撃の成功率を低下させ、Adultデータセットで最も低いROCAUC（0.599±0.016）を達成した。
• Newsデータセットでは、γ = -0.011のとき、IT-GAN(L)が攻撃成功スコア（0.752 ROCAUC）を最低に抑え、強力なプライバシー耐性を示した。
• IT-GAN(L)における本物・偽物の距離分布は、本物データから著しく分離しており、再識別リスクの低減が確認された。
• 感度分析の結果、γ = 0.01 および 潜在次元 dim(h) = 128 が、複数の指標で最適な性能を示し、dim(h) = 128 が大多数のケースで最高の結果をもたらした。
• 多クラスおよび不均衡なデータセット（CensusやCreditなど）では、すべての生成モデル（IT-GANを含む）が、実データに比べて依然として性能が劣っており、これらの設定における課題が依然として残っていることが示された。