[论文解读] Functional Mechanism: Regression Analysis under Differential Privacy

Jun Zhang, Zhenjie Zhang+3 more|arXiv (Cornell University)|Aug 1, 2012

Privacy-Preserving Technologies in Data参考文献 27被引用 60

一句话总结

本文提出功能机制（Functional Mechanism, FM），一种新颖的差分隐私回归分析方法，通过直接向优化目标函数注入噪声，而非其输出结果。通过扰动目标函数并求解由此产生的噪声优化问题，FM 在低隐私预算或高维数据条件下，显著优于现有方法，尤其在准确率和效率方面超越基于合成数据的方法（如 FP 和 DPME）。

ABSTRACT

ε-differential privacy is the state-of-the-art model for releasing sensitive information while protecting privacy. Numerous methods have been proposed to enforce epsilon-differential privacy in various analytical tasks, e.g., regression analysis. Existing solutions for regression analysis, however, are either limited to non-standard types of regression or unable to produce accurate regression results. Motivated by this, we propose the Functional Mechanism, a differentially private method designed for a large class of optimization-based analyses. The main idea is to enforce epsilon-differential privacy by perturbing the objective function of the optimization problem, rather than its results. As case studies, we apply the functional mechanism to address two most widely used regression models, namely, linear regression and logistic regression. Both theoretical analysis and thorough experimental evaluations show that the functional mechanism is highly effective and efficient, and it significantly outperforms existing solutions.

研究动机与目标

• 解决现有差分隐私回归方法在标准回归模型（如线性回归和逻辑回归）中缺乏准确性和高效性的问题。
• 克服现有方法的局限性，这些方法或依赖于合成数据生成（导致噪声过高、准确率低下），或仅适用于非标准回归类型。
• 开发一种通用框架，通过扰动优化问题的目标函数而非其结果，实现 ϵ-差分隐私。
• 确保扰动后的优化问题能产生准确的回归结果，同时保持强隐私保障。

提出的方法

• 功能机制通过向回归优化问题目标函数的多项式系数添加噪声，而非对最终回归系数进行扰动，来扰动目标函数。
• 对于线性回归，该方法直接扰动二次目标函数，从而可利用标准凸优化求解器高效求解。
• 对于逻辑回归（其目标函数非多项式），该方法使用截断泰勒展开将目标函数近似为有限多项式。
• 通过灵敏度分析校准噪声，以确保 ϵ-差分隐私，噪声大小由扰动后目标函数的 L2 灵敏度推导得出。
• 该方法避免了合成数据生成，降低了计算开销并保持了模型准确率。
• 最终的优化问题使用标准求解器（如 MATLAB 的优化工具箱）求解，确保效率与可扩展性。

实验结果

研究问题

• RQ1 在差分隐私回归中，扰动回归优化问题的目标函数是否能比扰动输出系数获得更高的准确率？
• RQ2 在不同隐私预算和数据维度下，功能机制与基于合成数据的方法（如 FP 和 DPME）相比，在准确率和效率方面表现如何？
• RQ3 截断逻辑回归目标函数的泰勒展开对最终差分隐私模型准确率有何影响？
• RQ4 与现有方法相比，功能机制的计算时间如何随数据集基数和维度变化而变化？
• RQ5 在何种条件下，功能机制的准确率可接近非私有回归（NoPrivacy）的性能？

主要发现

• 在所有测试数据集和隐私预算下，功能机制在均方误差方面显著优于现有方法（如 FP 和 DPME）。
• 在 US-Linear 和 Brazil-Linear 数据集中，当 ϵ = 0.1 时，FM 的均方误差比 FP 和 DPME 降低高达 50%。
• 在巴西数据集上，对于逻辑回归，当 ϵ = 0.1 时，FM 相较于 DPME 将误分类率降低了高达 40%。
• FM 的计算时间随数据维度线性增长，且始终低于 FP 和 DPME，后者因合成数据生成而产生额外开销。
• FM 的运行时间对隐私预算 ϵ 的变化不敏感，因为 ϵ 不影响数据集大小或优化复杂度。
• 在高维场景下，FM 相较其他方法的准确率优势愈发显著，当 ϵ ≥ 1.6 时，其性能接近 NoPrivacy 水准。