[论文解读] Training Production Language Models without Memorizing User Data

Swaroop Ramaswamy, Om Thakkar+4 more|arXiv (Cornell University)|Sep 21, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 16

一句话总结

本文首次在真实移动设备环境中部署了基于差分隐私的联邦学习系统，用于训练大规模生产级下一个词预测模型，采用 DP-FedAvg 机制以防止用户数据被记忆。尽管在真实环境中难以验证均匀采样和样本保密性，但端到端的实证测量结果表明系统对意外记忆具有强抵抗力，证明了大规模设备端人工智能训练中的实际隐私保护能力。

ABSTRACT

This paper presents the first consumer-scale next-word prediction (NWP) model trained with Federated Learning (FL) while leveraging the Differentially Private Federated Averaging (DP-FedAvg) technique. There has been prior work on building practical FL infrastructure, including work demonstrating the feasibility of training language models on mobile devices using such infrastructure. It has also been shown (in simulations on a public corpus) that it is possible to train NWP models with user-level differential privacy using the DP-FedAvg algorithm. Nevertheless, training production-quality NWP models with DP-FedAvg in a real-world production environment on a heterogeneous fleet of mobile phones requires addressing numerous challenges. For instance, the coordinating central server has to keep track of the devices available at the start of each round and sample devices uniformly at random from them, while ensuring \emph{secrecy of the sample}, etc. Unlike all prior privacy-focused FL work of which we are aware, for the first time we demonstrate the deployment of a differentially private mechanism for the training of a production neural network in FL, as well as the instrumentation of the production training infrastructure to perform an end-to-end empirical measurement of unintended memorization.

研究动机与目标

• 在真实移动环境中开发并部署一种基于用户级差分隐私的联邦学习方法，用于训练下一个词预测模型。
• 弥合理论上的差分隐私保证与联邦学习系统实际部署约束之间的差距。
• 通过实证测量与验证，证明大规模语言模型对用户数据的意外记忆具有抵抗能力。
• 评估在大规模、异构移动设备环境中应用差分隐私联邦平均（DP-FedAvg）的可行性。
• 识别并解决在去中心化系统中采样和保护训练数据时维持隐私保证的实际挑战。

提出的方法

• 利用基于 TensorFlow 构建的联邦学习（FL）基础设施，在设备端训练用于下一个词预测的循环神经网络。
• 应用差分隐私联邦平均（DP-FedAvg），通过向模型更新添加校准噪声，确保用户级差分隐私。
• 在 DP 机制中使用标准差 σ = 3.2 × 10⁻⁵，以在隐私保护与模型效用之间取得平衡。
• 实施一种采样策略：从基于可用性（空闲、充电、连接 Wi-Fi）的动态有限设备池中选择设备，而非基于已知的全局设备群体。
• 通过端到端加密保护所有用户到服务器的通信，确保更新的机密性。
• 在公开数据集上进行超参数调优，以避免在模型配置过程中发生隐私泄露。

实验结果

研究问题

• RQ1 能否在真实世界、异构的移动设备环境中，使用 DP-FedAvg 训练大规模的下一个词预测模型？
• RQ2 DP-FedAvg 机制在实际中在多大程度上能防止用户数据的意外记忆？
• RQ3 实际约束（如未知的设备群体规模和非均匀设备采样）如何影响理论差分隐私保证的有效性？
• RQ4 在隐私参数验证能力有限的情况下，有哪些实证证据支持模型对数据重建攻击的鲁棒性？
• RQ5 在不访问私有用户数据的前提下，如何在超参数调优过程中保持隐私？

主要发现

• 训练后的 NWP 模型在性能上优于现有非私有的基线模型，展现出在真实场景中的优异表现。
• 端到端的实证测量表明，该模型对意外记忆具有强抵抗力，表明对私有用户数据提供了有效保护。
• 尽管难以验证采样均匀性和群体规模，模型仍表现出对数据重建攻击的强抵抗力。
• 由于生产环境中群体规模和采样均匀性假设无法验证，系统未做出正式的 (ε,δ)-DP 声明。
• 在假设已知群体规模的前提下，计算了 ε 的理论上限，当 N = 400 万设备且 δ = N⁻¹.¹ 时，ε ≈ 5.36。
• 本研究强调，联邦学习中实际部署差分隐私不仅依赖理论保证，还需依赖稳健的仪器化与实测手段。