[論文レビュー] Differentially Private Database Release via Kernel Mean Embeddings

Matej Balog, Ilya Tolstikhin+1 more|arXiv (Cornell University)|Oct 4, 2017

Privacy-Preserving Technologies in Data参考文献 26被引用数 8

ひとこと要約

本稿では、再生核ヒルバート空間（RKHS）におけるカーネル平均埋め込み（KME）を用いた、微分プライバシーを満たすデータベース公開の新規フレームワークを提案する。真のデータ分布のKMEを近似する合成データポイントを公開することで、プライバシーを確保しつつ母集団統計量の一致推定を可能にする。主な貢献は、RKHSに基づく精度制御を通じて、理論的に裏付けられたプライバシーと統計的一致の両方を保証するアプローチである。

ABSTRACT

We lay theoretical foundations for new database release mechanisms that allow third-parties to construct consistent estimators of population statistics, while ensuring that the privacy of each individual contributing to the database protected. The proposed framework rests on two main ideas. First, releasing (an estimate of) the kernel mean embedding of the data generating random variable instead of the database itself still allows third-parties to construct consistent estimators of a wide class of population statistics. Second, the algorithm can satisfy the definition of differential privacy by basing the released kernel mean embedding on entirely synthetic data points, while controlling accuracy through the metric available in a Reproducing Kernel Hilbert Space. We describe two instantiations of the proposed framework, suitable under different scenarios, and prove theoretical results guaranteeing differential privacy of the resulting algorithms and the consistency of estimators constructed from their outputs.

研究の動機と目的

• 個人のプライバシーを保ちつつ、完全なデータベースを公開する課題に対処すること。
• 第三者が公開されたデータから母集団統計量の一致推定量を構築できるフレームワークを開発すること。
• 要約統計量やモデル出力に依存せず、むしろ元のデータ表現そのものを保護することで、微分プライバシーを確保すること。
• RKHSに基づくKMEを用いることで、多様なデータタイプに適用可能な統一的で数学的に整合性のある手法を提供すること。

提案手法

• データベースを再生核ヒルバート空間（RKHS）におけるカーネル平均埋め込み（KME）として表現し、データの豊かな統計的性質を捉える。
• 縮小集合法を用いて、真のKMEを近似する入力空間上の合成データポイントを生成することで、合成データベースを構築する。
• 元の機密データではなく、完全に合成されたデータポイントに基づいてKMEを公開することで、微分プライバシーを確保する。
• 近似誤差を測定するための原理的基準として、RKHSノルムを用いて精度を制御する。
• 2つのアルゴリズム実装を用いる：1つは広いガウス分布から合成ポイントをサンプリングする（アルゴリズム1）、もう1つは凸最適化によりポイントの位置を最適化する（アルゴリズム2）。
• 両アルゴリズムが(ε, δ)-微分プライバシーを満たし、それらの出力から構築された推定量が母集団統計量に対して一貫することを証明する。

実験結果

リサーチクエスチョン

• RQ1 RKHSにおけるカーネル平均埋め込みは、完全なデータベース公開のための十分かつプライバシー保護可能な中間表現として機能するか？
• RQ2 KMEを近似する合成データを公開する際、微分プライバシーを形式的に保証する方法は何か？
• RQ3 公開された合成データから、母集団統計量の一致推定量を構築できるか？
• RQ4 推定量の収束速度は、合成データポイントの数とプライバシーパラメータにどのように依存するか？
• RQ5 データベースの一部がすでに公開済みの場合でも、このフレームワークは有効か？

主な発見

• 提案されたフレームワークは、機密データを一切使用せず、真のカーネル平均埋め込みを近似する合成データポイントを公開することで、(ε, δ)-微分プライバシーを確保する。
• アルゴリズム1およびアルゴリズム2の両方とも、真のKMEに対する一貫した推定量を生成し、収束速度は合成データポイントの数とカーネルの選択に依存する。
• 最適化された合成ポイントの位置をとることで、アルゴリズム2はアルゴリズム1よりも真のKMEとのRKHS距離が小さくなるが、性能は最適化手順に依存する。
• 実験結果から、合成データポイントの数が増えるほどRKHS距離が減少し、プライバシー予算（ε）が高くなると距離が増加することが示された。
• 一貫性のあるKME推定量が構築できる限り、データベースの行が独立でない場合でもフレームワークは有効である。
• 合成データベースは、プライバシー劣化が生じない限り、二標本検定やMMD推定などのタスクに繰り返し無制限に利用可能である。