[論文レビュー] MVG Mechanism: Differential Privacy under Matrix-Valued Query

Thee Chanyaswad, Alex Dytso+2 more|arXiv (Cornell University)|Jan 2, 2018

Privacy-Preserving Technologies in Data参考文献 83被引用数 12

ひとこと要約

本稿では、行列値クエリに対して、行列変量ガウス分布からのノイズを追加することで $(\epsilon,\delta)$-微分プライバシーを維持する、新しい差分プライバシー手法である行列変量ガウス（MVG）機構を提案する。方向性のノイズを可能にすることで、情報量の少ない行列方向により多くのノイズを加えることにより、ユーティリティの損失を低減し、実世界のデータセットにおいても強力なプライバシー保証を維持しながら、最先端の手法を上回るユーティリティを達成する。

ABSTRACT

Differential privacy mechanism design has traditionally been tailored for a scalar-valued query function. Although many mechanisms such as the Laplace and Gaussian mechanisms can be extended to a matrix-valued query function by adding i.i.d. noise to each element of the matrix, this method is often suboptimal as it forfeits an opportunity to exploit the structural characteristics typically associated with matrix analysis. To address this challenge, we propose a novel differential privacy mechanism called the Matrix-Variate Gaussian (MVG) mechanism, which adds a matrix-valued noise drawn from a matrix-variate Gaussian distribution, and we rigorously prove that the MVG mechanism preserves $(ε,δ)$-differential privacy. Furthermore, we introduce the concept of directional noise made possible by the design of the MVG mechanism. Directional noise allows the impact of the noise on the utility of the matrix-valued query function to be moderated. Finally, we experimentally demonstrate the performance of our mechanism using three matrix-valued queries on three privacy-sensitive datasets. We find that the MVG mechanism notably outperforms four previous state-of-the-art approaches, and provides comparable utility to the non-private baseline.

研究の動機と目的

• 差分プライバシーにおける行列値クエリへのi.i.d.ノイズの適用が、行列要素間の構造的関係を無視するため、非最適であるという問題に取り組む。
• 行列値クエリ関数に特化した新しい基本的差分プライバシー機構を開発する。行列解析を活用することで実現する。
• 方向性ノイズの概念を導入し、ノイズをユーティリティの観点から、行列の各方向に戦略的に分散させることで、影響を最小限に抑える。
• プライバシー感受性の高いデータセット上で、既存手法と比較してMVG機構の優位性を実験的に検証する。

提案手法

• MVG機構は、行列値クエリ関数の $L_2$-感受性に応じてスケーリングされた行列変量ガウスノイズを追加する。
• 厳密な理論的分析を通じて、$(\epsilon,\delta)$-差分プライバシーを保証することが証明されている。
• ノイズの共分散を設計することで、ユーティリティの観点から特定の行列方向を強調または弱体化させることで、方向性ノイズを導入する。
• ノイズ感受性を方向にわたって配分するための精度割り当て戦略 $\boldsymbol{\theta}$ を使用し、実験では二値割り当てを用いる。
• ジョンソン＝リンデンストラウス変換や指数機構のような反復的または射影ベースの手法の計算オーバーヘッドを回避する。
• 行列変量ガウス分布を活用して、行列要素間の依存関係をモデル化し、行列構造を尊重する構造的ノイズを可能にする。

実験結果

リサーチクエスチョン

• RQ1 行列の構造を活用する差分プライバシー機構を、行列値クエリに特化して設計することは可能か？ すなわち、要素を独立に扱うのでなく、行列の構造的関係を考慮することができるか？
• RQ2 ノイズをどのように行列の方向に戦略的に割り当てれば、プライバシーを保ちつつユーティリティの損失を最小限に抑えることができるか？
• RQ3 同じプライバシー予算 ($\epsilon=1$, $\delta=1/N$) の下で、MVG機構は既存の最先端手法よりも優れたユーティリティを達成するか？
• RQ4 ジョンソン＝リンデンストラウス変換や指数機構のような代替手法と比較して、MVG機構の計算効率はどの程度か？
• RQ5 方向性ノイズは、非情報的であるとされる方向を捨てることで効果を発揮する次元削減技術を上回るか？

主な発見

• 同じプライバシー予算（$\epsilon=1$, $\delta=1/N$）の下で、MVG機構は次元削減手法（ガウスメカニズムやジョンソン＝リンデンストラウス変換）と比較して、150%以上の高いユーティリティ向上を達成した。
• MVG機構は、プライバシー感受性の高いデータセット上で評価された3つの行列値クエリすべてにおいて、非プライベートベースラインと同等のユーティリティを提供した。
• 反復的サンプリングや射影行列の構築を回避することで、計算オーバーヘッドが低減されたため、MVG機構は指数機構やジョンソン＝リンデンストラウス変換よりも著しく高速に実行された。
• MVG機構は、すべての実験評価において4つの最先端手法を上回り、一貫したユーティリティの向上を示した。
• 方向性ノイズの使用により、情報量の多い行列方向へのノイズの影響を低減しながらも、役立たない方向にはノイズを加えることで、プライバシーを損なわず、ユーティリティを向上させた。
• 理論的分析により、MVG機構が、クエリ構造に関する仮定を必要とせず、任意の行列値クエリ関数に対して $(\epsilon,\delta)$-差分プライバシーを満たすことが確認された。