[论文解读] MVG Mechanism: Differential Privacy under Matrix-Valued Query

Thee Chanyaswad, Alex Dytso+2 more|arXiv (Cornell University)|Jan 2, 2018

Privacy-Preserving Technologies in Data参考文献 83被引用 12

一句话总结

本文提出矩阵-变量子高斯（MVG）机制，这是一种新颖的差分隐私方法，适用于矩阵值查询，通过从矩阵-变量子高斯分布中添加噪声，以保护 $(\epsilon,\delta)$-差分隐私。通过实现方向性噪声，MVG 机制通过更大地扰动信息量较少的矩阵方向，减少效用损失，在真实世界数据集上优于最先进方法，同时保持强大的隐私保障。

ABSTRACT

Differential privacy mechanism design has traditionally been tailored for a scalar-valued query function. Although many mechanisms such as the Laplace and Gaussian mechanisms can be extended to a matrix-valued query function by adding i.i.d. noise to each element of the matrix, this method is often suboptimal as it forfeits an opportunity to exploit the structural characteristics typically associated with matrix analysis. To address this challenge, we propose a novel differential privacy mechanism called the Matrix-Variate Gaussian (MVG) mechanism, which adds a matrix-valued noise drawn from a matrix-variate Gaussian distribution, and we rigorously prove that the MVG mechanism preserves $(ε,δ)$-differential privacy. Furthermore, we introduce the concept of directional noise made possible by the design of the MVG mechanism. Directional noise allows the impact of the noise on the utility of the matrix-valued query function to be moderated. Finally, we experimentally demonstrate the performance of our mechanism using three matrix-valued queries on three privacy-sensitive datasets. We find that the MVG mechanism notably outperforms four previous state-of-the-art approaches, and provides comparable utility to the non-private baseline.

研究动机与目标

• 为解决在差分隐私中对矩阵值查询应用独立同分布噪声时的次优性问题，该问题忽略了矩阵元素之间的结构关系。
• 开发一种专为矩阵值查询函数设计的新基本差分隐私机制，利用矩阵分析技术。
• 引入方向性噪声的概念，使噪声能够有策略地分布在矩阵的不同方向上，以最小化对效用的影响。
• 通过实证验证 MVG 机制在隐私敏感数据集上相对于现有方法在效用和效率方面的优越性。

提出的方法

• MVG 机制根据矩阵值查询函数的 $L_2$-敏感度对矩阵-变量子高斯噪声进行缩放。
• 通过严格的理论分析，证明该机制可保证 $(\epsilon,\delta)$-差分隐私。
• 通过设计噪声协方差以强调或弱化特定矩阵方向，实现方向性噪声。
• 该方法使用精度分配策略 $\boldsymbol{\theta}$ 将噪声敏感度分配到各个方向，实验中采用二值分配。
• 该机制避免了如 Johnson-Lindenstrauss 变换或指数机制等迭代或基于投影方法的计算开销。
• 它利用矩阵-变量子高斯分布来建模矩阵条目之间的依赖关系，从而实现尊重矩阵结构的结构化噪声。

实验结果

研究问题

• RQ1 能否为矩阵值查询专门设计一种差分隐私机制，利用矩阵结构而非独立处理条目？
• RQ2 如何有策略地在矩阵方向上分配噪声，以在保护隐私的同时最小化效用损失？
• RQ3 在相同隐私预算下，MVG 机制是否在矩阵值查询上优于现有最先进方法？
• RQ4 与 Johnson-Lindenstrauss 变换或指数机制等替代方法相比，MVG 机制的计算效率如何？
• RQ5 方向性噪声能否优于丢弃非信息性方向的降维技术？

主要发现

• 在相同隐私预算（$\epsilon=1$，$\delta=1/N$）下，MVG 机制相比维度压缩方法（如高斯机制和 Johnson-Lindenstrauss 变换）实现了超过 150% 的效用增益。
• 在所有三个评估的隐私敏感数据集上的矩阵值查询中，MVG 机制提供的效用与非私有基线相当。
• 由于避免了迭代采样和投影矩阵构建，MVG 机制的运行速度显著快于指数机制和 Johnson-Lindenstrauss 变换。
• 在所有实验评估中，MVG 机制均优于四种最先进方法，展现出一致的效用提升。
• 方向性噪声的使用使机制能够减少对信息丰富矩阵方向的影响，同时仍对无用方向进行扰动，从而在不牺牲隐私的前提下提升效用。
• 理论分析证实，MVG 机制对任意矩阵值查询函数均满足 $(\epsilon,\delta)$-差分隐私，且无需对查询结构做任何假设。