[論文レビュー] Differential Privacy for Functions and Functional Data

Rob Hall, Alessandro Rinaldo+1 more|arXiv (Cornell University)|Mar 12, 2012

Privacy-Preserving Technologies in Data参考文献 34被引用数 93

ひとこと要約

この論文は、密度推定器や分類関数などの関数を公開する際の微分プライバシーを達成するためのフレームワークを提示する。関数の感度を再生核ヒルベルト空間（RKHS）に適合させたガウス過程ノイズを追加することで実現される。主な貢献は、関数がノイズ過程と同じRKHSに属する場合、関数の感度のRKHSノルムに比例するノイズ分散を設定することで、微分プライバシーが達成されることを示したことである。これにより、形式的なプライバシー保証を伴うプライベートなカーネル密度推定とカーネルSVMが可能になる。

ABSTRACT

Differential privacy is a framework for privately releasing summaries of a database. Previous work has focused mainly on methods for which the output is a finite dimensional vector, or an element of some discrete set. We develop methods for releasing functions while preserving differential privacy. Specifically, we show that adding an appropriate Gaussian process to the function of interest yields differential privacy. When the functions lie in the same RKHS as the Gaussian process, then the correct noise level is established by measuring the "sensitivity" of the function in the RKHS norm. As examples we consider kernel density estimation, kernel support vector machines, and functions in reproducing kernel Hilbert spaces.

研究の動機と目的

• 有限次元のベクトルから関数値の出力へと微分プライバシーを拡張すること、特に関数データ解析の文脈において。
• RKHSノルムを用いて関数の感度の概念を形式化し、プライバシーを保証する関数の公開を可能にすること。
• RKHS感度に合わせてノイズをキャリブレーションすることで、プライベートなカーネル密度推定器とカーネルSVMを実現する実用的手法を開発すること。
• 関数の感度のRKHSノルムに比例する分散を持つガウス過程を追加することで、(α, β)-微分プライバシーが保証されることを示すこと。
• バッチ処理およびオンライン関数公開の両方において、計算的に実行可能でプライバシー保証を伴うフレームワークを提供すること。

提案手法

• 既知の共分散カーネルを持つガウス過程を用いて、関心のある関数にノイズを追加し、微分プライバシーを保証する。
• 関数の感度のRKHSノルムに基づいてノイズレベルをキャリブレーションする。感度は、隣接するデータベースにおける関数出力の差のRKHSノルムの上界として定義される。
• 推定関数とノイズ過程が同じRKHSに属するように保証することで、カーネル密度推定とカーネルSVMにこの手法を適用する。
• オンライン設定において、条件付き分布を効率的に計算するために、行列の逆行列補題とシュール補完を用いる。これにより、プライバシーを保ちながらリアルタイムでの関数評価が可能になる。
• スパarsityを活用して条件付き平均と分散の計算において、特定の指数カーネル K(x,y) = exp(−γ|x−y|) を用いることで、オンライン更新を効率化する。
• バッチおよびオンライン公開プロトコルを実装する：バッチでは多変量ガウス分布からのサンプリング、オンラインではガウス過程の事後分布を逐次的に更新する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを有限次元のベクトルから関数値の出力へと形式的に拡張する方法は何か？
• RQ2 関数的設定における適切な感度の概念とは何か？ そして、プライバシーを保証するためにどのように測定できるか？
• RQ3 カーネル密度推定器やカーネルSVMなどの関数をプライベート化するために、ガウス過程を用いることは可能か？ また、その場合の実用性は？
• RQ4 オンラインまたはインタラクティブな設定において、微分プライベートな関数を公開することは計算的に可能か？
• RQ5 再生核ヒルベルト空間（RKHS）において関数を公開する際、プライバシーと実用性のバランスを最適化するために、ノイズレベルをどのようにキャリブレーションすべきか？

主な発見

• 関数の感度のRKHSノルムに比例する分散を持つガウス過程を追加することで、関数出力に対して (α, β)-微分プライバシーが保証される。
• この手法により、カーネル密度推定に対して形式的なプライバシー保証が達成され、合成データの生成に使用可能なプライベートな密度関数の公開が可能になる。
• カーネルSVMの文脈では、分類関数をプライベート化しつつも、その予測性能を維持できる。
• オンライン設定では、行列の逆行列補題と指数カーネルが引き起こすスパarsityを活用することで、新たな点におけるプライベート化された関数の条件付き分布を効率的に計算できる。
• 計算複雑度はクエリ数に応じて増加するが、適切なデータ構造（例：ソート済みの双方向リスト）を用いることで、1クエリあたりの更新時間を O(log i) にまで低減できる。
• このフレームワークは一般性を有し、感度がRKHSノルムで有界である限り、任意のソボレフ空間またはRKHSに属する関数に適用可能である。