[论文解读] P4L: Privacy Preserving Peer-to-Peer Learning for Infrastructureless Setups

Ioannis Arapakis, Panagiotis Papadopoulos+2 more|arXiv (Cornell University)|Feb 26, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

P4L 提出了一种完全去中心化、无需基础设施的点对点学习系统，使移动设备能够通过同态加密协作训练机器学习模型，以保护梯度的机密性和实用性，且无需依赖中心化服务器或差分隐私。该系统在实现最小性能开销——电池消耗低于3 mAh——的同时，展现出对投毒攻击的鲁棒性，并在各种设备配置下具备可扩展性。

ABSTRACT

Distributed (or Federated) learning enables users to train machine learning models on their very own devices, while they share only the gradients of their models usually in a differentially private way (utility loss). Although such a strategy provides better privacy guarantees than the traditional centralized approach, it requires users to blindly trust a centralized infrastructure that may also become a bottleneck with the increasing number of users. In this paper, we design and implement P4L: a privacy preserving peer-to-peer learning system for users to participate in an asynchronous, collaborative learning scheme without requiring any sort of infrastructure or relying on differential privacy. Our design uses strong cryptographic primitives to preserve both the confidentiality and utility of the shared gradients, a set of peer-to-peer mechanisms for fault tolerance and user churn, proximity and cross device communications. Extensive simulations under different network settings and ML scenarios for three real-life datasets show that P4L provides competitive performance to baselines, while it is resilient to different poisoning attacks. We implement P4L and experimental results show that the performance overhead and power consumption is minimal (less than 3mAh of discharge).

研究动机与目标

• 解决集中式联邦学习的隐私和可扩展性局限，后者依赖单一可信服务器，导致其成为性能瓶颈和单点故障。
• 消除去中心化学习系统对外部基础设施（如区块链、IPFS 或公钥基础设施）的依赖。
• 使用强密码原语保护共享模型梯度的机密性和实用性，避免因差分隐私导致的性能损失。
• 在无基础设施、基于邻近关系的移动和物联网环境中，实现容错、可扩展且高效的协作学习。
• 通过加密保护梯度，防止恶意对等方发起的信息泄露攻击，确保用户隐私。

提出的方法

• P4L 使用部分同态加密（Paillier 密码系统）使对等方能够在不解密的情况下同态聚合加密的梯度，从而同时保护隐私和模型实用性。
• 系统实现了基于 Rust 的自定义同态加密库，支持打包密文，从而在模型梯度上高效执行向量化同态运算。
• 利用 Android 的 Nearby Connections API 发现并与其他附近设备通信，实现无基础设施、基于邻近关系的点对点通信。
• 模型更新在附近对等方之间异步共享，每个设备执行本地训练并参与私密的梯度聚合。
• 使用 gzip 压缩密文，以减少通信开销，提升资源受限设备的性能。
• 系统采用去中心化、非共谋的对等模型，不信任任何单一对等方，且通过密码技术防止去匿名化和投毒攻击。

实验结果

研究问题

• RQ1 一个完全去中心化、无基础设施的点对点学习系统是否能在不依赖差分隐私的前提下，实现与集中式联邦学习相当的模型性能？
• RQ2 同态加密的使用对移动设备上协作模型训练的性能和功耗有何影响？
• RQ3 在去中心化、不可信的对等环境中，P4L 对各类投毒攻击的抵抗能力如何？
• RQ4 在现代移动设备上运行 P4L 的实际性能开销——尤其是电池消耗和延迟——是多少？
• RQ5 在用户频繁退出和网络条件动态变化的情况下，P4L 是否能保持可扩展性和容错能力？

主要发现

• P4L 在对抗性条件下仍能实现与集中式联邦学习基线相当的模型性能，且模型实用性未出现下降。
• 系统表现出极低的性能开销，运行期间电池消耗低于3 mAh，具备在真实移动设备上部署的可行性。
• 单次协同操作的端到端延迟在所有测试设备上均低于4秒，且与交换的模型参数数量成线性比例增长。
• CPU 使用率随共享参数数量线性增加，但在现代智能手机的后台运行中仍处于可接受范围内。
• P4L 对各类投毒攻击表现出强大鲁棒性，即使部分对等方为恶意，全局模型准确率仍能保持稳定。
• 系统在不同硬件配置的设备上（包括低端和高端智能手机）均表现出良好的可扩展性，证实了其实际可行性。