[论文解读] PrivLogit: Efficient Privacy-preserving Logistic Regression by Tailoring Numerical Optimizers

Wei Xie, Yang Wang+2 more|arXiv (Cornell University)|Nov 3, 2016

Privacy-Preserving Technologies in Data参考文献 21被引用 23

一句话总结

该论文提出 PrivLogit，一种隐私保护逻辑回归框架，通过为密码学环境量身定制数值优化，加速安全计算。通过用一种可减少海森矩阵计算开销的自定义优化器替代标准牛顿法，作者在保持准确性和隐私性的前提下，实现了比最先进协议快 8.1 倍的性能提升，适用于分布式、水平划分的数据环境。

ABSTRACT

Safeguarding privacy in machine learning is highly desirable, especially in collaborative studies across many organizations. Privacy-preserving distributed machine learning (based on cryptography) is popular to solve the problem. However, existing cryptographic protocols still incur excess computational overhead. Here, we make a novel observation that this is partially due to naive adoption of mainstream numerical optimization (e.g., Newton method) and failing to tailor for secure computing. This work presents a contrasting perspective: customizing numerical optimization specifically for secure settings. We propose a seemingly less-favorable optimization method that can in fact significantly accelerate privacy-preserving logistic regression. Leveraging this new method, we propose two new secure protocols for conducting logistic regression in a privacy-preserving and distributed manner. Extensive theoretical and empirical evaluations prove the competitive performance of our two secure proposals while without compromising accuracy or privacy: with speedup up to 2.3x and 8.1x, respectively, over state-of-the-art; and even faster as data scales up. Such drastic speedup is on top of and in addition to performance improvements from existing (and future) state-of-the-art cryptography. Our work provides a new way towards efficient and practical privacy-preserving logistic regression for large-scale studies which are common for modern science.

研究动机与目标

• 解决现有隐私保护分布式机器学习协议中计算开销过高的问题，特别是针对逻辑回归任务。
• 识别出在安全计算环境中直接采用主流数值优化器（如牛顿法）会导致性能次优。
• 设计一种专为安全多方计算环境定制的新优化策略，以减少计算瓶颈，同时不损害隐私或准确性。
• 基于新优化器设计两种高效的安全协议——PrivLogit-Hessian 和 PrivLogit-Local，以支持大规模协作研究中的实际部署。
• 证明优化器定制带来的性能提升与仅靠密码学技术进步所带来的改进是正交且可叠加的。

提出的方法

• 提出一种新型数值优化器 PrivLogit，通过重新设计安全环境下的优化流程，避免昂贵的海森矩阵计算。
• 设计 PrivLogit-Hessian，每轮仅计算并交换一个紧凑的加密海森矩阵摘要，最大限度减少通信和计算开销。
• 提出 PrivLogit-Local，一种变体，允许各参与方在本地近似海森矩阵，减少全局协调，实现更快收敛。
• 利用本地计算不依赖数据量 n 的特性（即本地计算无隐私开销），使总计算成本仅与 p³（特征数量）成正比，而非与 n（样本数量）成正比。
• 使用标准密码学原原子保护所有中间数据和汇总信息，确保端到端隐私。
• 确保新优化器在密码学约束下仍保持与标准牛顿法相当的收敛特性和准确性。

实验结果

研究问题

• RQ1 尽管密码学技术不断进步，为何现有的隐私保护逻辑回归协议仍效率低下？
• RQ2 若重新思考数值优化算法的选择，特别是用其他方法替代标准牛顿法，是否能在安全计算中带来显著性能提升？
• RQ3 在隐私保护计算环境中，使用近似海森矩阵或本地优化策略在计算与通信开销之间存在何种权衡？
• RQ4 在密码学约束下，所提出的 PrivLogit 优化器与基于标准牛顿法的方法相比，在收敛速度和准确性方面表现如何？
• RQ5 优化器定制带来的性能提升在多大程度上可与底层密码学技术进步相分离，并实现叠加？

主要发现

• 所提出的 PrivLogit 优化器在不同设置下相比最先进协议，分别实现最高 2.3 倍和 8.1 倍的性能提升，且随着数据规模增大，性能增益进一步提升。
• 在大规模场景下，PrivLogit-Local 由于通信更少且本地计算更高效，表现优于 PrivLogit-Hessian。
• 新优化器即使在密码学约束下，仍能保持与标准牛顿法相当的高准确性和收敛稳定性。
• 新方法的计算成本仅与 p³（特征数量）成正比，而非与 n（样本数量）成正比，因此在大规模数据集上极具效率。
• 性能提升与密码学技术进步正交——意味着该加速效果可与未来安全计算协议的改进叠加。
• 该方法具有通用性，可推广至逻辑回归之外的其他机器学习模型，如分类器、回归器以及隐私敏感场景下的深度学习模型。