[論文レビュー] Mitigating Statistical Bias within Differentially Private Synthetic Data

Sahra Ghalebikesabi, Harrison Wilde+4 more|arXiv (Cornell University)|Aug 24, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、微分プライバシー（DP）制約下で生成された合成データにおける統計的バイアスを軽減するため、差分プライバシー（DP）尤度比を用いた後処理再重み付け戦略を提案する。不偏DPインポートランス重み付けの導入、重み推定のためのDP-SGDの調整、およびディスクライマータ出力をプライバシーフリーの重みとして活用することで、追加のプライバシー予算を消費せずに、頻度的およびベイジアン推論タスクの両方において、下流モデルの有効性を顕著に向上させる。

ABSTRACT

Increasing interest in privacy-preserving machine learning has led to new and evolved approaches for generating private synthetic data from undisclosed real data. However, mechanisms of privacy preservation can significantly reduce the utility of synthetic data, which in turn impacts downstream tasks such as learning predictive models or inference. We propose several re-weighting strategies using privatised likelihood ratios that not only mitigate statistical bias of downstream estimators but also have general applicability to differentially private generative models. Through large-scale empirical evaluation, we show that private importance weighting provides simple and effective privacy-compliant augmentation for general applications of synthetic data.

研究の動機と目的

• 差分プライバシー制約下で生成された合成データを用いた下流推定器に生じる統計的バイアスを是正すること。
• 特定の手法に依存しない、さまざまなDP生成モデルに一般化可能な後処理技術の開発。
• プライバシーを維持しつつ、統計的推論およびモデル学習のための合成データの有効性を向上させること。
• オリジナルのモデルにDPアナログが存在しない場合でも、非パラメトリックブートストラップによる信頼区間推定を含む、正当な統計的分析を可能にする。

提案手法

• 既存手法と比較して分散が小さい、不偏DPインポートランス重み付けの新規拡張を提案。
• 実データと合成データからの重要度重み推定のため、サンプリング確率とノイズ注入の変更を加えたDP-SGDの適応。
• DP-GANのディスクライマータ出力を重要度重みとして活用し、追加のプライバシー予算を消費しない。
• 同じ再重み付けアプローチを用いて、頻度的およびベイジアン推論の両方のデバイアス化フレームワークを導入。
• （ϵ, δ）-差分プライバシー制約下で尤度比推定をプライベートに実行し、重要度重みを計算。
• 後処理定理を適用することで、合成データに対するすべての下流分析が差分プライバシーを維持することを保証。

実験結果

リサーチクエスチョン

• RQ1 後処理再重み付け戦略は、差分プライバシー制約下の合成データで学習された推定器のバイアスを効果的に低減できるか？
• RQ2 分散を最小限に抑えつつ、有効性を保ちながら、プライベートに重要度重みを推定する方法は何か？
• RQ3 DP-GANのディスクライマータ出力は、下流推論のための効果的かつプライバシーフリーの重要度重みとして機能するか？
• RQ4 プライベート重要度重み付けは、分類や回帰を含む多様な下流タスクにおいて、どの程度モデル性能を向上させられるか？
• RQ5 提案フレームワークは、さまざまなDP生成モデルおよびデータタイプに一般化可能か？

主な発見

• 提案された不偏DPインポートランス重み付け法は、既存手法と比較してバイアスと分散を低減し、下流モデルの性能を向上させる。
• プライベート重要度重み付けは合成データの有効性を顕著に向上させ、一部の設定（例：ブレストデータ、キャリブレート済みPSIS）ではAUCスコアが最大0.13上昇（例：0.5985 vs. 0.4417）。
• ディスクライマータ出力を重要度重みとして活用することで、追加のプライバシー予算を消費せずに高い性能（例：スパムデータでAUC 0.5997）が達成された。
• DP-MLPを用いた重み推定では、ϵ=6、δ=1e−5の条件下でクレジットデータでWST値が0.0003まで低下した。
• 実験的結果から、プライベート重要度重み付けは複数のデータセット（ブレスト、スパム、クレジット）およびモデル（SVM、RF、MLP）において一貫してモデル有効性を向上させた。
• 本手法により、オリジナルのモデルにDPアナログが存在しない場合でも、合成データ上で正当な統計的推論（非パラメトリックブートストラップによる信頼区間推定を含む）が可能になった。