[論文レビュー] Graphical-model based estimation and inference for differential privacy

Ryan McKenna, Daniel Sheldon+1 more|arXiv (Cornell University)|Jan 26, 2019

Privacy-Preserving Technologies in Data被引用数 35

ひとこと要約

本論文は、差分プライバシー下でノイズ入りの周辺測定からデータ分布を推定するためのグラフィカルモデルに基づくアプローチを導入し、 private query workloads のスケーラブルで正確な推論を実現する。

ABSTRACT

Many privacy mechanisms reveal high-level information about a data distribution through noisy measurements. It is common to use this information to estimate the answers to new queries. In this work, we provide an approach to solve this estimation problem efficiently using graphical models, which is particularly effective when the distribution is high-dimensional but the measurements are over low-dimensional marginals. We show that our approach is far more efficient than existing estimation techniques from the privacy literature and that it can improve the accuracy and scalability of many state-of-the-art mechanisms.

研究の動機と目的

• 低次元の、プライベートにノイズのある周辺から高次元データ分布の効率的な推定を動機づける。
• 観測された周辺と一致する最大エントロピー分布を導出するグラフィカルモデルフレームワークを開発する。
• 完全な連携表を実際に作成することなく、周辺とグラフィカルモデルのパラメータを回復する近接推定アルゴリズムを提供する。
• 学習済みグラフィカルモデル上で効率的な周辺推論を行うことにより、新しいワークロードクエリの正確な推論を可能にする。
• 最先端のDPメカニズムへ本アプローチを組み込んだ場合の改善を示す。

提案手法

• 測定セットに対応するクリークを持つグラフィカルモデルでデータ分布を表現する。
• 推定された周辺を用いて最大エントロピー原理に基づき単一の分布を選択する。
• 周辺を十分統計量として用い、周辺多面体上の凸最適化として推定を定式化する。
• クリーク周辺をMARGINAL-ORACLEサブルーチンを介して反復的に更新する2つの近接アルゴリズム（Algorithm 1 および Algorithm 2）を導入する。
• 接合木上の信念伝搬をMARGINAL-ORACLEとして活用し、可処分な周辺推論を行う。
• 学習したグラフィカルモデルを適用して、完全な連携表を具現化せずにワークロードクエリに答える。

実験結果

リサーチクエスチョン

• RQ1 プライバシーノイズ下で、グラフィカルモデルが高次元データ分布をコンパクトでありながら正確に表現できるか？
• RQ2 どのようにして周辺を推定し、プライベートにノイズのある測定から効率的に最大エントロピー分布を回復できるか？
• RQ3 グラフィカルモデルに基づく推定を組み込むことで、既存のDPメカニズムのクエリワークロードに対する精度とスケーラビリティは改善されるか？
• RQ4 この周辺データに対して推定を行う、収束保証を持つ実用的なアルゴリズムは何か？

主な発見

• グラフィカルモデル推定を組み込むと、PrivBayesとDualQueryの精度が大幅に向上し、LoansとStrokeデータセットでワークロード誤差がそれぞれ6倍と7倍、Adultでは約30%低減した。
• 実装において、DualQueryはグラフィカルモデルアプローチを使用すると、4つのデータセットでそれぞれ1.2x、1.8x、3.5x、4.4xの改善を経験した。
• MWEMとHDMMは、従来は対象の大規模なワークロード/データセットにスケールできなかったが、PGMベースの推定により実現可能になる。
• 提案された近接推定アルゴリズムには収束保証があり（一般的 convex 損失で O(1/√t)、リプシッツ勾配損失で O(1/t^2)）、周辺推論を扱いやすくする MARGINAL-ORACLE オラクルを活用する。
• このフレームワークは既存のプライベートクエリ機構と互換性があり、追加のプライバシー損失なしにプライバシー-有用性のトレードオフを改善する構成要素として利用できる。
• Titanic、Adult、Loans、Strokeデータセットを対象に実験を行い、プライバシーバジェットを ε=1.0（DualQuery では δ=0.001）とした。