[论文解读] CodedPrivateML: A Fast and Privacy-Preserving Framework for Distributed Machine Learning

Jinhyun So, Başak Güler+1 more|arXiv (Cornell University)|Feb 2, 2019

Privacy-Preserving Technologies in Data被引用 44

一句话总结

CodedPrivateML 提供信息论隐私用于分布式机器学习中的训练数据，同时实现高效并行；它使用量化和拉格朗日编码以及多项式近似来实现收敛并对抗串通的工作节点的隐私。

ABSTRACT

How to train a machine learning model while keeping the data private and secure? We present CodedPrivateML, a fast and scalable approach to this critical problem. CodedPrivateML keeps both the data and the model information-theoretically private, while allowing efficient parallelization of training across distributed workers. We characterize CodedPrivateML's privacy threshold and prove its convergence for logistic (and linear) regression. Furthermore, via extensive experiments on Amazon EC2, we demonstrate that CodedPrivateML provides significant speedup over cryptographic approaches based on multi-party computing (MPC).

研究动机与目标

• 使用信息论保证保护训练数据对多达 T 个串通工作的隐私。
• 通过在 N 个工作节点上有效地并行化梯度计算来实现快速分布式训练。
• 开发基于拉格朗日编码的编码/量化方案，以降低通信和计算开销。
• 尽管非多项式的 sigmoid 运算，通过多项式近似确保逻辑回归（以及线性回归）的收敛。
• 提供隐私水平（T）与并行化收益之间的理论权衡分析。

提出的方法

• 通过随机量化和两步秘密共享将数据集和权重量化到一个有限域。
• 用拉格朗日编码对量化数据和权重进行编码，以在对 T 个串通工作节点提供隐私保护并分发工作负载。
• 用一个度为 r 的多项式近似 sigmoid，以适应基于多项式的计算。
• 使用一个无偏估计量 ar{s} 进行梯度计算，具备 r 次独立量化，确保收敛。
• 在主节点使用多项式插值解码聚合梯度，并将其转换回实域以更新权重。

实验结果

研究问题

• RQ1 如何在分布式设置中对私有数据进行训练，以实现对串通工作节点的信息论隐私？
• RQ2 在量化和多项式近似下，训练过程是否能收敛到逻辑回归和线性回归的最优解？
• RQ3 在 CodedPrivateML 中，隐私（T）与并行化（N、K）之间的取舍关系是什么？
• RQ4 与基于 MPC 的隐私保护方法相比，CodedPrivateML 在速度和准确性方面表现如何？
• RQ5 在存在拖后腿工作节点的情况下，成功梯度解码所需的条件（如恢复阈值）是什么？

主要发现

• 在提出的量化和多项式近似方案下，CodedPrivateML 保证对逻辑回归的最优损失收敛。
• 它在对最多 T 个串通工作节点提供信息论隐私的同时，实现对 N 个工作节点的并行化。
• 在 Amazon EC2 上对多达 50 个工作节点的实验中，该方法显著优于 MPC 基线，获得加速。
• 在 CIFAR-10 和 GISETTE 的实验中，准确度相当但训练时间显著快于基于 MPC 的方法。
• 识别出隐私水平（T）与并行化收益之间的权衡，因为增加的工作节点要么提高隐私，要么降低单个工作节点的计算量。
• 该方法对数据和权重进行编码，使编码计算与未编码计算具有相同的结构，从而保持梯度评估的正确性。