[论文解读] Differentially Private Convex Optimization with Feasibility Guarantees

Vladimir Dvorkin, Ferdinando Fioretto+3 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用 4

一句话总结

本文提出了一种用于带硬约束的凸优化的差分隐私框架，通过机会约束随机优化重构实现可行性保障。通过使优化变量成为噪声的线性函数，该方法在确保高概率可行性的同时，实现了对身份查询和求和查询的隐私保护发布，实现了最优性损失与解方差之间的可调和权衡。

ABSTRACT

This paper develops a novel differentially private framework to solve convex optimization problems with sensitive optimization data and complex physical or operational constraints. Unlike standard noise-additive algorithms, that act primarily on the problem data, objective or solution, and disregard the problem constraints, this framework requires the optimization variables to be a function of the noise and exploits a chance-constrained problem reformulation with formal feasibility guarantees. The noise is calibrated to provide differential privacy for identity and linear queries on the optimization solution. For many applications, including resource allocation problems, the proposed framework provides a trade-off between the expected optimality loss and the variance of optimization results.

研究动机与目标

• 为解决差分隐私约束优化中缺乏可行性保障的问题，特别是在发布敏感数据的解决方案时。
• 开发一种方法，确保对优化解的身份查询和求和查询实现隐私保护，同时不违反物理或操作约束。
• 通过机会约束重构提供形式化的可行性保障，确保约束以高概率被满足。
• 在资源分配和能源系统中，实现期望最优性损失与解方差之间可调和的权衡。
• 克服标准输出扰动或输入扰动方法的局限性，这些方法无法保持可行性，或需要双层优化进行校正。

提出的方法

• 将原始凸优化问题重构为一个随机机会约束规划，其中解变量是随机噪声的线性函数。
• 使用线性可调资源函数 z(ξ) = z̃ + f(ξ)，其中 z̃ 为期望解，f(ξ) 为与噪声相关的项，以确保高概率可行性。
• 校准噪声以实现对解的身份查询和线性查询的 (ε, δ)-差分隐私，且独立于敏感数据 d。
• 强制约束 Gz = d（例如流量守恒）被精确满足，同时允许扰动在非发布变量之间重新分配，以减少最优性损失。
• 求解一个类似双层优化的问题，以联合优化期望解 z̃ 和可调资源函数 f(ξ)，确保同时满足隐私和可行性要求。
• 采用两阶段方法：第一阶段，在机会约束下优化 z̃ 和 f(ξ)；第二阶段，从所得分布中采样解以发布。

实验结果

研究问题

• RQ1 能否设计一种差分隐私优化框架，确保在复杂物理或操作约束下解的可行性？
• RQ2 如何在不损害约束满足的前提下，实现对优化解的身份查询和求和查询的差分隐私？
• RQ3 期望最优性损失与解方差之间存在何种权衡？如何对其进行控制？
• RQ4 所提出的框架能否在解质量与可行性方面优于标准输出扰动方法？
• RQ5 发布变量与非发布变量的分离如何影响最优性损失与解方差之间的权衡？

主要发现

• 通过在解分布上施加机会约束，该框架以高概率保证了解的可行性，确保 Gz = d 被满足。
• 在 118_ieee 测试系统中，PSQ-a 算法在 ε = 10 时实现了最优性损失的零方差，且随着 ϕ 增大，期望最优性损失 E[∆c] 仅适度增加。
• 整体解方差 Var[z(ξ)] 被降低至接近 Tr[Σ]（9 个扰动的总方差），展示了有效的方差控制。
• 在基准能源网络上，该框架在最优性损失和解方差方面均优于标准输出扰动算法。
• 通过调整机会约束公式中的权衡参数 ϕ，该方法可实现期望最优性损失与解方差之间的可调和权衡。
• 通过确保可调资源函数 f(ξ) 独立于敏感数据 d，该方法实现了对身份查询和求和查询的 (ε, δ)-差分隐私。