[論文レビュー] PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning

Seng Pei Liew, Tsubasa Takahashi+1 more|arXiv (Cornell University)|Jun 8, 2021

Privacy-Preserving Technologies in Data参考文献 46被引用数 5

ひとこと要約

PEARLは、プライバシー保護された埋め込みと敵対的再構成学習を用いた、プライバシー保護型のデータ合成フレームワークを提案する。これにより、プライバシー予算の劣化が生じない無制限の訓練反復が可能となる。特徴関数表現とプライバシー保護型の評価者を活用することで、実用的なプライバシー水準（ε ≈ 1）で高品質な合成データを生成し、画像および表形式のベンチマークにおいて勾配ノイズ除去法とDP-MERFを上回る性能を発揮する。

ABSTRACT

We propose a new framework of synthesizing data using deep generative models in a differentially private manner. Within our framework, sensitive data are sanitized with rigorous privacy guarantees in a one-shot fashion, such that training deep generative models is possible without re-using the original data. Hence, no extra privacy costs or model constraints are incurred, in contrast to popular approaches such as Differentially Private Stochastic Gradient Descent (DP-SGD), which, among other issues, causes degradation in privacy guarantees as the training iteration increases. We demonstrate a realization of our framework by making use of the characteristic function and an adversarial re-weighting objective, which are of independent interest as well. Our proposal has theoretical guarantees of performance, and empirical evaluations on multiple datasets show that our approach outperforms other methods at reasonable levels of privacy.

研究の動機と目的

• 勾配ノイズ除去法における深層生成モデルの限界を解消すること。これは、訓練反復が進むにつれてプライバシーが劣化するためである。
• DP-MERFにおける固定表現制約を克服すること。これは、モデルの汎化能力と学習容量を制限する要因である。
• 反復的プライバシーコストが生じないプライベートなデータ合成フレームワークの開発を目的とする。
• 既存の手法が失敗するような意味のあるプライバシー水準（ε ≈ 1）で高品質な合成データを生成すること。
• 追加のプライバシー予算を消費せずにサンプリング戦略を最適化するプライバシー保護型評価者を導入すること。

提案手法

• データの特徴関数（CF）を用いてプライベートな埋め込みを構築し、差分プライバシーにより機微な情報を保護する。
• 生成器と評価者を同時に最適化するためのミニマックス最適化目的関数を導入し、洗練済みの実データと生成データのCF空間における乖離を最小化する。
• 目的関数は以下の通り定義される： min_θ max_ω ∑(i=1 to k) [ω(t_i)/ω₀(t_i)] |Φ̃_Pr(t_i) - Φ̂_Qθ(t_i)|²。これにより、元のデータに再アクセスせずに敵対的学習が可能となる。
• プライバシー保護型評価者が、サンプリングされた周波数の重み付けを再調整することで、埋め込み表現の最適化を図り、追加のプライバシー予算を消費しない。
• データの洗練処理とモデル訓練を分離することで、固定されたプライバシー予算のもとで無制限の訓練反復が可能となる。
• CF射影のための確率的周波数サンプリングを採用し、評価者が最適なサンプリング分布の選定を支援する。

実験結果

リサーチクエスチョン

• RQ1 反復的プライバシーコストの劣化が生じないプライベートな深層生成モデルを訓練できるか？
• RQ2 特徴関数に基づくプライベートな埋め込みが、差分プライバシーの下で高精度なデータ再構成を可能にするか？
• RQ3 プライバシー保護型評価者が、追加のプライバシー予算を消費せずに、サンプリング戦略を最適化することで合成データの品質を向上させられるか？
• RQ4 PEARLは、既存の手法が失敗するε ≈ 1の水準で高品質な合成データを生成できるか？
• RQ5 FID、KID、および下流タスクのパフォーマンスにおいて、PEARLは勾配ノイズ除去法およびDP-MERFと比較してどのように差をつけるか？

主な発見

• ε = 1の条件下で、PEARLはDP-MERFおよび勾配ノイズ除去モデル（例：DPGAN、DPCGAN）をFIDおよびKIDスコアの両面で上回り、FIDスコアで最大20%の改善を達成した。
• プライバシー保護型評価者の導入により顕著な性能向上が見られ、評価者なしのPEARLと比較してFIDが15%低減した。
• （ε, δ）=（1, 10⁻⁵）のAdultデータセットにおいて、PEARLは平均ROC（0.721 ± 0.035）およびPRC（0.618 ± 0.033）を達成し、実データ（ROC: 0.765、PRC: 0.654）にDP-MERFよりも近い値に近づいた。
• ヒストограмムの比較から、PEARLは「年齢」やカテゴリカル特徴などにおいて、DP-MERFよりもデータのモードとトレンドをよりよく捉えていることが示された。
• 理論的分析により、連続性、微分可能性、弱位相トポロジー収束性が確認され、安定した訓練を支持する。
• プライバシー保護型サンプリング戦略は漸近的に一貫しており、プライバシー予算の損失なしに長期的な安定性を保証する。