[论文解读] Applied Federated Learning: Improving Google Keyboard Query Suggestions

Timothy T. Yang, Galen Andrew+6 more|arXiv (Cornell University)|Dec 7, 2018

Privacy-Preserving Technologies in Data参考文献 10被引用 449

一句话总结

本文展示了端到端的联邦学习应用，用于在移动设备上训练、评估和部署一个触发模型，以过滤 Google Keyboard 的查询建议，在不访问原始用户数据的前提下提升 CTR，同时保护隐私。

ABSTRACT

Federated learning is a distributed form of machine learning where both the training data and model training are decentralized. In this paper, we use federated learning in a commercial, global-scale setting to train, evaluate and deploy a model to improve virtual keyboard search suggestion quality without direct access to the underlying user data. We describe our observations in federated training, compare metrics to live deployments, and present resulting quality increases. In whole, we demonstrate how federated learning can be applied end-to-end to both improve user experiences and enhance user privacy.

研究动机与目标

• 演示一个面向商用移动键盘特性的端到端 FL 工作流。
• 评估在设备端进行 FL 训练和聚合的隐私收益与性能。
• 展示触发模型如何在不访问中心数据的情况下提升查询建议质量。

提出的方法

• 两阶段推荐系统：服务器训练的基线模型与 FL 训练的触发模型。
• 在设备端收集用于 FL 任务的特征与标签（展示/点击）。
• 使用 Federated Averaging 将客户端更新聚合到全局模型，且不需要中央数据访问。
• 在设备端进行评估与监控以指导模型收敛与部署。
• 基于阈值的触发机制，用以平衡 CTR 与保留的展示量。
• 在初始实验中将逻辑回归作为 FL 模型，未来有扩展到神经模型的潜力。

实验结果

研究问题

• RQ1 在移动设备上进行的联邦学习是否能够在不访问原始用户数据的前提下改善 Gboard 的查询建议质量？
• RQ2 在生产环境中端到端部署 FL 时，实际的训练动态、约束和隐私影响是什么？
• RQ3 与传统基线相比，FL 训练的触发模型对点击率（CTR）和保留展示量有何影响？
• RQ4 在设备端隐私保护训练中，由于日夜节律引起的设备可用性和人群偏斜会带来哪些挑战？

主要发现

• 在选定阈值的实际部署中，FL 训练的触发模型相较基线能提升点击率（CTR）。
• 训练呈现日夜节律模式：大多数轮次在夜间发生，设备在未计费网络条件下充电。
• 评估显示由于人群偏斜和环境约束，训练指标与实际结果可能出现偏离。
• 阈值调整影响触发率与用户体验之间的平衡，进而影响保留展示量和点击量。
• 逻辑回归在此场景中提供了可解释且有效的 FL 起点；后续迭代引入更复杂的特征，包括基于 LSTM 的文本特征化。