[論文レビュー] Iterative Methods for Private Synthetic Data: Unifying Framework and New Methods

Terrance Liu, Giuseppe Vietri+1 more|arXiv (Cornell University)|Jun 14, 2021

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本論文は、反復的プライベート合成データ生成の統一的フレームワークを提案し、2つの新しい手法を導入する：Private Entropy Projection (PEP) は、適応的学習率とエントロピー正則化を用いて MWEM を改善する。Generative Networks with the Exponential Mechanism (GEM) は、ニューラルネットワークを用いて複雑な分布上で効率的に最適化する。GEM は最先端の性能を達成し、ε=1 の条件下で 2018 ACS データにおいて PMW Pub より最大誤差を 9.23 倍低減する。

ABSTRACT

We study private synthetic data generation for query release, where the goal is to construct a sanitized version of a sensitive dataset, subject to differential privacy, that approximately preserves the answers to a large collection of statistical queries. We first present an algorithmic framework that unifies a long line of iterative algorithms in the literature. Under this framework, we propose two new methods. The first method, private entropy projection (PEP), can be viewed as an advanced variant of MWEM that adaptively reuses past query measurements to boost accuracy. Our second method, generative networks with the exponential mechanism (GEM), circumvents computational bottlenecks in algorithms such as MWEM and PEP by optimizing over generative models parameterized by neural networks, which capture a rich family of distributions while enabling fast gradient-based optimization. We demonstrate that PEP and GEM empirically outperform existing algorithms. Furthermore, we show that GEM nicely incorporates prior information from public data while overcoming limitations of PMW^Pub, the existing state-of-the-art method that also leverages public data.

研究の動機と目的

• 微分プライバシーを満たす合成データ生成のための多様な反復的アルゴリズムを、単一のアルゴリズム的フレームワークに統合すること。
• MWEM や PMW Pub などの既存手法よりも精度と効率性を向上させる新しい手法を開発すること。
• 従来の手法の制限を克服しつつ、公開データをプライベートクエリ公開に効果的に活用できるようにすること。
• ニューラルネットワークのパrameterization を用いて、高次元設定における計算ボトル neck を緩和すること。
• 提案手法が、複数のデータセットおよびプライバシー予算において、最先端のベースラインを上回ることを実証的に検証すること。

提案手法

• 反復的プライベート合成データ生成アルゴリズムを、損失関数と分布パrameterization によって定義する統一的フレームワークを提案。これにより、MWEM や FEM といった既存手法を包含する。
• Private Entropy Projection (PEP) を導入。適応的学習率とエントロピー正則化を用いて、正則化された指数型損失を最小化することで、MWEM よりも収束性と精度が向上する。
• Generative Networks with the Exponential Mechanism (GEM) を開発。合成分布をニューラルネットワークでパラメータライズし、勾配ベースの最適化を用いることで、MWEM の指数的実行時間の問題を回避する。
• GEM を公開データの統合を可能にするように拡張。ACS などの公開データセットからの事前学習により、事前知識を効果的に活用する。
• ベースラインとして RAP の softmax 変種（RAP softmax）を採用。標準 RAP よりも優れた性能を示し、とくにスパースなクエリ環境で顕著に最大誤差を低減する。
• 反復間で過去のクエリ測定値を再利用するフレームワークを採用。これにより、標準 MWEM よりも性能が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 既存の反復的プライベート合成データ生成アルゴリズムを包括的に捉え、一般化できる統一的フレームワークを開発できるか？
• RQ2 適応的学習率とエントロピー正則化を用いて MWEM を改善する新たな手法（PEP）を設計できるか？
• RQ3 ニューラルネットワークベースの生成モデル（GEM）は、高次元データに効果的にスケーリング可能であり、微分プライバシーと精度を維持できるか？
• RQ4 PMW Pub らの既存手法の制限を回避しつつ、公開データをプライベートクエリ公開に効果的に活用できるか？
• RQ5 RAP が一部のデータセット（例：ADULT）では低性能だが、他のデータセット（例：ADULT*）では妥当な性能を示すのはなぜか？

主な発見

• GEM は、ε=1 の条件下で 2018 ACS データ（ペンシルベニア州）において、PMW Pub より最大誤差を 9.23 倍低減し、高次元設定でも優れた性能を示した。
• PEP は、適応的学習率とエントロピー正則化により、反復回数が進むにつれて誤差が単調に減少するため、MWEM よりも高速な収束と高い精度を達成した。
• 提案されたフレームワークは、適切な損失関数とパラメータライズを指定することにより、MWEM や FEM、DualQuery といった既存手法を包括的に回復・一般化できた。
• RAP の softmax 変種（RAP softmax）は、すべてのプライバシー予算で標準 RAP を上回る性能を示し、とくにスパースなクエリワークロードでの最大誤差低減に顕著に寄与した。
• ADULT と ADULT* における RAP の性能差は、高精度クエリのスパarsity に起因する：ADULT* では高精度クエリが 71 個と少ない（ADULT では 487 個）ため、RAP が最適化しやすくなった。
• GEM は高次元データに対して高いロバストネスを示し、ADULT* および LOANS データセットにおける 3 方向マージナルの両方の指標（最大誤差と RMSE）で、すべての競合手法を上回った。