[论文解读] Privacy-preserving Decentralized Optimization Based on ADMM

Chunlei Zhang, Yongqiang Wang|arXiv (Cornell University)|Jul 13, 2017

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出了一种使用部分同态加密的隐私保护去中心化优化框架，结合ADMM算法，实现无需中心聚合器的安全、完全去中心化的计算。该方法提出了一种新型ADMM变体，采用时变惩罚矩阵，证明了其收敛速率为O(1/t)，在保护敏感代理数据的同时保持了较低的计算开销。

ABSTRACT

Privacy preservation is addressed for decentralized optimization, where $N$ agents cooperatively minimize the sum of $N$ convex functions private to these individual agents. In most existing decentralized optimization approaches, participating agents exchange and disclose states explicitly, which may not be desirable when the states contain sensitive information of individual agents. The problem is more acute when adversaries exist which try to steal information from other participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on ADMM and partially homomorphic cryptography. To our knowledge, this is the first time that cryptographic techniques are incorporated in a fully decentralized setting to enable privacy preservation in decentralized optimization in the absence of any third party or aggregator. To facilitate the incorporation of encryption in a fully decentralized manner, we introduce a new ADMM which allows time-varying penalty matrices and rigorously prove that it has a convergence rate of $O(1/t)$. Numerical and experimental results confirm the effectiveness and low computational complexity of the proposed approach.

研究动机与目标

• 解决去中心化优化中代理共享敏感状态信息所导致的隐私泄露问题。
• 消除在隐私保护优化中对中心聚合器或可信第三方的依赖。
• 将密码学技术——特别是部分同态加密——集成到完全去中心化的ADMM框架中。
• 在保护代理级数据隐私的同时，确保收敛性和计算效率。
• 开发一种适用于安全去中心化计算的新型ADMM变体，其惩罚矩阵随时间变化。

提出的方法

• 提出一种改进的ADMM算法，支持时变惩罚矩阵，以增强去中心化环境中灵活性与安全性。
• 集成部分同态加密，以在通信过程中保护代理的敏感状态，防止窃听者和攻击者获取信息。
• 设计一种完全去中心化的协议，代理仅执行本地计算，并交换加密变量，无需中心协调者。
• 利用同态性质，实现在中间阶段无需解密即可对加密变量进行安全聚合。
• 证明所提出的ADMM变体收敛速率为O(1/t)，确保理论可靠性。
• 采用分布式一致性机制，代理通过使用加密数据和动态调整的惩罚参数，迭代更新其本地变量。

实验结果

研究问题

• RQ1 在无中心聚合器或可信第三方的情况下，能否在去中心化优化中实现隐私保护？
• RQ2 如何有效将同态加密集成到去中心化ADMM框架中？
• RQ3 使用时变惩罚矩阵对去中心化优化中的收敛性和隐私性有何影响？
• RQ4 所提出的方法能否在确保强隐私保障的同时保持低计算复杂度？
• RQ5 在去中心化和加密条件下，所提出的隐私保护ADMM变体的收敛速率是多少？

主要发现

• 所提方法实现了O(1/t)的收敛速率，与理想条件下标准ADMM的理论性能一致。
• 部分同态加密的集成实现了代理间的安全通信，而无需暴露原始状态数据。
• 该框架完全以去中心化方式运行，消除了对任何中心实体或聚合器的依赖。
• 数值实验验证了该方法在保护隐私的同时保持计算效率的有效性。
• 时变惩罚矩阵的使用增强了适应性，并支持在动态去中心化环境中实现安全收敛。
• 该方法表现出较低的计算开销，使其在隐私敏感应用中具备实际部署可行性。