[论文解读] Secure Byzantine-Robust Machine Learning

Lie He, Sai Praneeth Karimireddy+1 more|arXiv (Cornell University)|Jun 8, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用 39

一句话总结

提出一个安全的两服务器聚合框架，在分布式学习中实现输入隐私和拜占庭鲁棒性，具备容错能力并能与本地差分隐私及现有鲁棒规则兼容。

ABSTRACT

Increasingly machine learning systems are being deployed to edge servers and devices (e.g. mobile phones) and trained in a collaborative manner. Such distributed/federated/decentralized training raises a number of concerns about the robustness, privacy, and security of the procedure. While extensive work has been done in tackling with robustness, privacy, or security individually, their combination has rarely been studied. In this paper, we propose a secure two-server protocol that offers both input privacy and Byzantine-robustness. In addition, this protocol is communication-efficient, fault-tolerant and enjoys local differential privacy.

研究动机与目标

• 在分布式/联邦学习中同时解决隐私与鲁棒性。
• 开发一个安全聚合协议，在对诚实但好奇的服务器下仍能保护输入隐私。
• 实现与现有拜占庭鲁棒聚合规则的兼容性，同时保持精确性。
• 在实际部署中确保容错性、可扩展性，以及低通信开销。

提出的方法

• Workers 将他们的更新通过 secret-share 分享给两个不协作的服务器。
• 基于两服务器的 2PC 的安全聚合计算标准求和或使用 Beaver’s triples 的鲁棒、距离为基础的聚合。
• 为实现鲁棒性，更新之间的成对距离在服务器上安全计算，并输入到鲁棒聚合预言机以选择权重。
• 最终聚合更新被重构并应用到公开模型上，相对于非私有鲁棒方法保持精确性。
• 该协议支持工作节点的 dropout/新加入者，设计为通信高效（上行带宽为非私有的两倍量级内）。
• 该框架可与差分隐私结合，在与基于 DP 的训练结合时实现本地差分隐私机制。

实验结果

研究问题

• RQ1 在拜占庭鲁棒的分布式学习环境中，是否能够在不泄露单个更新的前提下实现输入隐私？
• RQ2 如何将基于距离的鲁棒聚合规则安全地集成到两服务器 MPC 框架中？
• RQ3 安全协议是否保持非私有鲁棒聚合的精确结果？
• RQ4 该方案在实际中的通信与容错特性是什么？
• RQ5 方法在实际中如何与差分隐私接口？

主要发现

• 提出的两服务器安全聚合在结果上与非隐私保护的鲁棒聚合完全相同（精确性）。
• 协议保留强输入隐私，使服务器只得知最终聚合更新，在鲁棒模式下仅获得更新之间的成对距离，而非更新本身。
• 该方法对工作节点的 dropout 和新加入者具有容错性，且采用单轮通信方案，开销适中。
• 通信开销在非私有方法的两倍量级内，服务器端到服务器的通信可以加速；鲁棒性可以通过现有规则如 Krum 实现。
• 该方法与本地差分隐私兼容，且可与基于 DP 的训练技术结合。