[論文レビュー] Really Useful Synthetic Data -- A Framework to Evaluate the Quality of Differentially Private Synthetic Data

Christian Arnold, Marcel Neunhoeffer|arXiv (Cornell University)|Apr 16, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用数 18

ひとこと要約

本論文は、応用研究者の視点から、プライバシー保護された合成データの品質を評価する包括的なベンチマークフレームワークを提案する。分布の類似度とタスク固有のパフォーマンスの両方を測定する。ベースラインDP-GANを用いて、9つのメトリクスにわたる定量的スコアを確立し、実世界のデータ課題（離散変数、構造的ゼロ、欠損データなど）におけるプライバシー・品質のトレードオフの改善のための基礎的水準を提示する。

ABSTRACT

Recent advances in generating synthetic data that allow to add principled ways of protecting privacy -- such as Differential Privacy -- are a crucial step in sharing statistical information in a privacy preserving way. But while the focus has been on privacy guarantees, the resulting private synthetic data is only useful if it still carries statistical information from the original data. To further optimise the inherent trade-off between data privacy and data quality, it is necessary to think closely about the latter. What is it that data analysts want? Acknowledging that data quality is a subjective concept, we develop a framework to evaluate the quality of differentially private synthetic data from an applied researcher's perspective. Data quality can be measured along two dimensions. First, quality of synthetic data can be evaluated against training data or against an underlying population. Second, the quality of synthetic data depends on general similarity of distributions or specific tasks such as inference or prediction. It is clear that accommodating all goals at once is a formidable challenge. We invite the academic community to jointly advance the privacy-quality frontier.

研究の動機と目的

• プライバシー保証を超えて、プライバシー保護された合成データの実用性を評価するうえでの重要なギャップを埋めること。
• 応用研究者の視点からデータ品質を定義し、分布の類似度とタスク固有のパフォーマンスの両方に焦点を当てる。
• 実際のデータ課題（例：離散変数、構造的ゼロ、欠損データ、ネスト構造）を含む標準化されたベンチマークを確立し、合成データの品質を評価すること。
• 異なる合成データ生成手法間での比較を可能にする統一的かつ拡張可能な評価フレームワークを提供すること。
• さまざまなデータタイプとプライバシー水準において、DP合成データの系統的かつ再現可能な評価を可能にする、プライバシー・品質の境界を前進させること。

提案手法

• 実世界のデータ課題を反映する9つのデータ生成プロセスからなるベンチマークスイートを設計する：離散的および連続的属性、構造的ゼロ、欠損データ、ネスト構造。
• 3層の全結合隠れ層（256、128、128ニューロン）を備えたDP-GANを実装し、Leaky ReLU活性化関数と、生成器に50%のドロップアウトを適用する。
• 離散的属性からの微分可能なサンプリングにGumbel-Softmaxを用い、プライバシー会計にはモーメント会計法を用いたDP-Adamを採用（ε=1、δ=5×10⁻⁵）。
• 10個の独立した訓練セット（各10,000サンプル）に10個のDP-GANを訓練し、各モデルから10個の合成データセットを生成することで、合計1,000個の合成データセットを生成する。
• 品質を2つの次元で評価する：(1) 訓練データまたは母集団との類似度（Wasserstein距離、pMSE、共分散比、係数バイアス）、(2) 一般化性能（カバレッジレート、予測RMSE）。
• スコアをベースラインパフォーマンスに対して正規化し、最高スコアを0、最悪スコアを実現スコアの10%上回る値に設定することで、解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、応用研究者の視点から、プライバシー保護された合成データの品質を体系的に測定できるか？
• RQ2 ベースラインDP-GANは、プライバシー予算やデータ課題が変化する中で、統計的性質（例：分布、共分散、係数推定値）をどの程度保持しているか？
• RQ3 プライバシー保護された合成データは、未観測データや母集団レベルの推論タスクにどの程度一般化できるか？
• RQ4 現行のDP合成データ手法は、現実的なデータ課題を評価した際に、それぞれの相対的強みと弱みは何か？
• RQ5 統一されたベンチマークフレームワークは、多様なデータタイプとプライバシー水準において、公平で再現可能かつ比較可能なDPデータ合成器の評価を可能にするか？

主な発見

• ベースラインDP-GANは、訓練用Wasserstein距離比が10.09、訓練用pMSE比が3,522.96を示し、元のデータからの顕著な分布的逸脱を示している。
• 一般化性能では、Wasserstein距離比が10.22、pMSE比が3,505.01であり、母集団への一般化が限定的であることが示唆されている。
• 一般化のカバレッジレートは89%であり、真のデータ範囲の11%が合成データによってカバーされていないことを示している。
• 一般化における係数バイアスは119.93%に達しており、合成データは回帰係数推定値を著しく不正確に導くことが判明した。
• 下流タスクにおける予測RMSEは9.39であり、合成データを用いた予測モデリングに顕著な誤差が生じていることを示している。
• 提案されたベンチマークフレームワークは、標準化され、解釈可能でスケーラブルな評価パイプラインを提供し、プライバシー保護された合成データ生成における今後の手法開発の基準を設定している。