[论文解读] ADMM Based Privacy-preserving Decentralized Optimization

Chunlei Zhang, Muaz Ahmad+1 more|arXiv (Cornell University)|Jul 13, 2017

Stochastic Gradient Optimization Techniques参考文献 49被引用 4

一句话总结

本文提出了一种新颖的隐私保护去中心化优化框架，采用带有部分同态加密的ADMM，实现在多智能体系统中无需聚合器的安全优化。该方法引入了一种时变惩罚矩阵的ADMM变体，实现了O(1/t)的收敛速率，同时保护了敏感智能体状态，防止监听者和相邻智能体的窥探。

ABSTRACT

Privacy preservation is addressed for decentralized optimization, where $N$ agents cooperatively minimize the sum of $N$ convex functions private to these individual agents. In most existing decentralized optimization approaches, participating agents exchange and disclose states explicitly, which may not be desirable when the states contain sensitive information of individual agents. The problem is more acute when adversaries exist which try to steal information from other participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on ADMM and partially homomorphic cryptography. To our knowledge, this is the first time that cryptographic techniques are incorporated in a fully decentralized setting to enable privacy preservation in decentralized optimization in the absence of any third party or aggregator. To facilitate the incorporation of encryption in a fully decentralized manner, we introduce a new ADMM which allows time-varying penalty matrices and rigorously prove that it has a convergence rate of $O(1/t)$. Numerical and experimental results confirm the effectiveness and low computational complexity of the proposed approach.

研究动机与目标

• 解决去中心化优化中智能体显式交换敏感状态所导致的隐私泄露问题。
• 在完全去中心化的环境中实现端到端的隐私保护，无需第三方聚合器。
• 将密码学技术——特别是部分同态加密——集成到去中心化ADMM框架中。
• 在确保强隐私保障的同时，维持收敛性和计算效率。
• 开发一种具有时变惩罚矩阵的新型ADMM变体，以支持隐私保护计算。

提出的方法

• 提出一种改进的ADMM算法，采用时变惩罚矩阵，以支持去中心化网络中的安全计算。
• 采用部分同态加密保护智能体在消息交换过程中的状态，防止监听者推断敏感数据。
• 设计一种去中心化的加密方案，使每个智能体在传输前对其本地变量进行加密，确保明文不被暴露。
• 在较弱条件下证明了所提ADMM变体的收敛性，表明该算法收敛于原始问题的最优解。
• 通过分析对偶变量和原始变量的更新，利用类似李雅普诺夫函数的方法，建立了O(1/t)的理论收敛速率。
• 采用一种新颖的李雅普诺夫函数分析收敛性，整合了时变惩罚矩阵的结构和同态加密的特性。

实验结果

研究问题

• RQ1 是否可以在不依赖中心化聚合器或可信第三方的情况下，实现去中心化优化中的隐私保护？
• RQ2 如何将同态加密集成到去中心化ADMM框架中，以保护敏感智能体状态？
• RQ3 在隐私保护设置下，具有时变惩罚矩阵的ADMM变体能建立何种收敛保证？
• RQ4 尽管增加了密码学层，该方法是否仍能保持合理的收敛速率？
• RQ5 所提方法能否防止攻击者通过观察交换的消息推断出私有信息？

主要发现

• 所提出的具有时变惩罚矩阵的ADMM实现了O(1/t)的收敛速率，与标准ADMM性能相当。
• 由于所有交换消息均被加密，即使对直接邻居，任一智能体也不会以明文形式暴露其私有状态。
• 数值结果证实，该算法在计算开销较低的情况下收敛于最优解。
• 理论分析证明，该算法收敛于拉格朗日函数的鞍点，确保了解的最优性。
• 该方法对监听者具有鲁棒性，可防止推断出如智能体位置或训练数据等私有信息。
• 研究表明，将部分同态加密集成到完全去中心化的ADMM框架中，对于凸优化问题是可行且有效的。