[論文レビュー] Generating tabular datasets under differential privacy

Gianluca Truda|arXiv (Cornell University)|Aug 28, 2023

Privacy-Preserving Technologies in DataComputer Science被引用数 3

ひとこと要約

本論文では、厳密なプライバシー制約のもとで、複数の実世界のデータセットにおいて、FID、多様性、安定性の観点で最先端のGANを上回る、表形式データ合成のための最初の微分プライベートな拡散モデルであるTableDiffusionを紹介する。ノイズを直接除去するのではなく、予測して差し引くことで、混合型表形式表現の課題を回避し、優れたデータ効率およびプライバシー効率を達成する。

ABSTRACT

Machine Learning (ML) is accelerating progress across fields and industries, but relies on accessible and high-quality training data. Some of the most important datasets are found in biomedical and financial domains in the form of spreadsheets and relational databases. But this tabular data is often sensitive in nature. Synthetic data generation offers the potential to unlock sensitive data, but generative models tend to memorise and regurgitate training data, which undermines the privacy goal. To remedy this, researchers have incorporated the mathematical framework of Differential Privacy (DP) into the training process of deep neural networks. But this creates a trade-off between the quality and privacy of the resulting data. Generative Adversarial Networks (GANs) are the dominant paradigm for synthesising tabular data under DP, but suffer from unstable adversarial training and mode collapse, which are exacerbated by the privacy constraints and challenging tabular data modality. This work optimises the quality-privacy trade-off of generative models, producing higher quality tabular datasets with the same privacy guarantees. We implement novel end-to-end models that leverage attention mechanisms to learn reversible tabular representations. We also introduce TableDiffusion, the first differentially-private diffusion model for tabular data synthesis. Our experiments show that TableDiffusion produces higher-fidelity synthetic datasets, avoids the mode collapse problem, and achieves state-of-the-art performance on privatised tabular data synthesis. By implementing TableDiffusion to predict the added noise, we enabled it to bypass the challenges of reconstructing mixed-type tabular data. Overall, the diffusion paradigm proves vastly more data and privacy efficient than the adversarial paradigm, due to augmented re-use of each data batch and a smoother iterative training process.

研究の動機と目的

• 感受性の高い生物医学的および金融的表形式データセットへのアクセスがプライバシー規制によって制限されるというAI研究における重要なボトルネックを解決すること。
• 特にGANに代表される従来の生成モデルが微分プライバシー下で直面する限界、すなわちモード崩壊、不安定性、および低いデータ効率を克服すること。
• 拡散モデルの安定性と反復的トレーニングプロセスを活用することで、合成表形式データ生成における品質とプライバシーのトレードオフを改善すること。
• 前例のない手法として、強力なプライバシー保証を維持しつつ、従来手法と比較して顕著に向上したデータ忠実度と多様性を実現すること。

提案手法

• 腐敗したデータサンプルからノイズを予測して差し引くことで、ノイズ追加プロセスの逆方向を学習する、新しい表形式データ向けの微分プライベートな拡散モデルであるTableDiffusionを提案する。
• 混合型表形式データの直接再構築を避けるために、ノイズ予測型の拡散モデルを実装し、より安定的かつ正確な生成を可能にする。
• 分類的・数値的両方の特徴および高基数特徴を処理できるように、学習可能な位置埋め込みを備えたノイズ除去U-Netアーキテクチャを採用する。
• 保証されたプライバシー保証を実現するため、Rényi微分プライバシー（RDP）アカウンティングを用いた微分プライベートな確率的勾配降下法（DP-SGD）を適用する。
• 各データバッチを複数のノイズステップで再利用するデータ拡張戦略を統合することで、データ効率を向上させるとともに、プライバシー予算の消費を削減する。
• 2段階のトレーニングプロセスを設計：まず自己注意メカニズムを用いて表形式表現を事前学習し、次に学習済み埋め込み上で拡散モデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 微分プライベートな表形式データ合成の文脈において、生成モデルとしての拡散モデルは、敵対的モデル（GAN）と比較して、より高いデータ効率およびプライバシー効率を達成できるか？
• RQ2 拡散プロセス中に追加されたノイズを予測することで、混合型表形式データにおける直接的なノイズ除去と比較して、より優れたパフォーマンスと安定性が得られるか？
• RQ3 エンドツーエンドの注意ベースの表現は、微分プライバシー下で、合成表形式データの品質をどの程度向上させられるか？
• RQ4 GANの敵対的トレーニングと比較して、拡散モデルの反復的かつノイズベースのトレーニングプロセスは、収束性、モードカバレッジ、プライバシー予算消費の観点で、どのように異なるか？

主な発見

• TableDiffusionは、pMSE比およびα-精度／β再現率という指標で測定された、関連する分布の忠実度（統合および周辺分布）において、すべてのベンチマークデータセットで最先端のGANベースのモデルを一貫して上回った。
• ノイズ予測型のTableDiffusionバージョンが、最も高い合成データ品質を達成し、元のデータの多様性をより多く捉え、GANと比較してモード崩壊を軽減した。
• 滑らかな勾配更新とバッチあたりの高いデータ再利用率のおかげで、拡散モデルはGANと比較してプライバシー予算の消費が著しく遅くなった。
• TableDiffusionは、複数回の実行およびさまざまなプライバシー水準において優れた安定性を示したが、GANは微分プライバシー下で高い分散と頻繁なトレーニング失敗を示した。
• アブレーションスタディの結果、ノイズ予測メカニズムが性能向上の主な要因であると確認され、混合型表形式データの直接再構築の課題を回避できた。
• 平均して、TableDiffusionは5つの実世界データセットにおいて、最良のGANベースラインと比較して、α-精度およびβ再現率の指標で25〜40％の改善を達成した。