[论文解读] Customized Local Differential Privacy for Multi-Agent Distributed Optimization

Roel Dobbe, Ye Pu+3 more|arXiv (Cornell University)|Jun 15, 2018

Privacy-Preserving Technologies in Data参考文献 27被引用 10

一句话总结

该论文提出了一种针对多智能体分布式优化的定制化局部差分隐私机制，使各智能体能够根据本地敏感度和需求独立设定其隐私水平。通过在通信中引入噪声，并结合一种非精确交替最小化算法，该方法确保了目标函数与约束条件的ε-差分隐私，同时保持收敛性和次优性边界，通过基于市场或按比例的方案实现灵活的噪声分配。

ABSTRACT

Real-time data-driven optimization and control problems over networks may require sensitive information of participating users to calculate solutions and decision variables, such as in traffic or energy systems. Adversaries with access to coordination signals may potentially decode information on individual users and put user privacy at risk. We develop local differential privacy, which is a strong notion that guarantees user privacy regardless of any auxiliary information an adversary may have, for a larger family of convex distributed optimization problems. The mechanism allows agent to customize their own privacy level based on local needs and parameter sensitivities. We propose a general sampling based approach for determining sensitivity and derive analytical bounds for specific quadratic problems. We analyze inherent trade-offs between privacy and suboptimality and propose allocation schemes to divide the maximum allowable noise, a privacy budget, among all participating agents. Our algorithm is implemented to enable privacy in distributed optimal power flow for electric grids.

研究动机与目标

• 解决分布式优化中因智能体通信导致目标函数与约束条件敏感数据泄露的问题。
• 构建一种局部差分隐私框架，使各智能体可根据本地需求和参数敏感度自定义其隐私水平。
• 分析在存在噪声通信的分布式优化中，隐私（ε）与次优性（解误差）之间的权衡。
• 提出公平且高效的噪声预算分配机制——按比例分配与基于市场（VCG-Kelly）的机制——以在具有不同隐私需求的智能体间分配总允许的隐私预算。
• 在实际应用中实现并验证该方法：在电力系统中实现隐私保护的分布式最优潮流。

提出的方法

• 将非精确交替最小化算法（IAMA）适配于容忍噪声通信的场景，确保在隐私保护扰动下仍能实现收敛。
• 基于本地敏感度分析，引入各智能体特有的噪声方差，该方法通过一种通用的基于采样的方法估计凸问题中的敏感度。
• 在局部差分隐私下，为二次优化问题建立次优性与隐私损失的解析边界。
• 将噪声分配建模为约束优化问题，利用代理效用函数来描述智能体对隐私水平的偏好。
• 实现两种分配机制：(1) 基于智能体贡献度按比例分配噪声方差；(2) VCG-Kelly机制，以激励智能体真实报告隐私需求。
• 将隐私保护机制集成至电力系统中的分布式最优潮流（OPF）框架，验证其在实际场景中的可行性。

实验结果

研究问题

• RQ1 在智能体具有不同隐私需求与敏感度的分布式优化环境中，如何实现按智能体定制的局部差分隐私？
• RQ2 在存在噪声通信的分布式凸优化中，差分隐私水平（ε）与解的次优性之间存在何种权衡？
• RQ3 如何在具有异质隐私需求的智能体之间公平且高效地分配总允许的噪声方差（隐私预算）？
• RQ4 基于市场的机制（如VCG-Kelly）是否可被适配用于分布式优化中的隐私分配，同时确保真实报告与高效均衡？
• RQ5 在局部差分隐私下，二次分布式优化问题的次优性与隐私损失是否存在解析边界？

主要发现

• 所提方法确保了在分布式凸优化中，目标函数与约束参数均满足ε-局部差分隐私，即使智能体对隐私泄露的敏感度各不相同。
• 为二次问题推导出次优性的解析边界，表明次优性与噪声方差的平方及迭代次数成正比。
• 该方法在噪声水平处于指定范围内的条件下，可保证非精确交替最小化算法在噪声通信下的收敛性。
• VCG-Kelly机制通过将个体激励与系统效率对齐，确保了隐私偏好的真实报告，并实现纳什均衡。
• 当市场机制不可行时，按比例噪声分配被证明是一种公平的替代方案，尤其适用于智能体间存在社会经济差异的情境。
• 该框架成功应用于电力系统中的分布式最优潮流，验证了其在真实控制系统的实际可行性与隐私保护性能。