[论文解读] Federated Learning for Emoji Prediction in a Mobile Keyboard

Swaroop Ramaswamy Pillai, Rajiv Mathews+2 more|arXiv (Cornell University)|Jun 11, 2019

Digital Communication and Language被引用 164

一句话总结

本文使用联邦学习训练 CIFG-LSTM 表情符号预测器用于 Gboard，显示 FL 能在保持用户数据在本地的同时超越服务器训练模型，并引入触发与多样化机制。

ABSTRACT

We show that a word-level recurrent neural network can predict emoji from text typed on a mobile keyboard. We demonstrate the usefulness of transfer learning for predicting emoji by pretraining the model using a language modeling task. We also propose mechanisms to trigger emoji and tune the diversity of candidates. The model is trained using a distributed on-device learning framework called federated learning. The federated model is shown to achieve better performance than a server-trained model. This work demonstrates the feasibility of using federated learning to train production-quality models for natural language understanding tasks while keeping users' data on their devices.

研究动机与目标

• 在移动键盘上利用词级 RNN 从文本进行表情符号预测。
• 证明在语言建模上的预训练能加速表情符号预测的学习。
• 提出触发机制和多样化机制，以平衡表情符号建议的有用性和多样性。

提出的方法

• 使用两层 CIFG-LSTM，每层 256 个单元，词汇量 10,000，用于预测 100 种表情符号。
• 在语言建模任务上对层（除输出投影之外）进行预训练，以提升收敛。
• 使用 Federated Averaging 汇聚来自设备端训练轮次的客户端更新。
• 通过添加一个 <UNK> 类来实现设备端触发机制，以控制何时显示表情符号预测。
• 通过使用经验表情符号频率对预测的表情符号概率进行缩放来实现多样化（S_i = P_hat(emoji=i|text) / P(emoji=i)^alpha）。
• 在服务器端和联邦设置下进行训练与评估；比较 Accuracy@1 和 AUC 指标。

实验结果

研究问题

• RQ1 通过联邦学习训练的 CIFG-LSTM 表情符号预测器是否能在设备端的表情符号建议上超越服务器训练模型？
• RQ2 语言模型的预训练是否在联邦设置中改善表情符号预测器的收敛性与性能？
• RQ3 触发和多样化策略如何影响表情符号预测的有用性和多样性？

主要发现

• 联邦训练的 Accuracy@1 高于最佳服务器训练模型（0.256 对 0.239）。
• 在服务器数据上评估时，联邦模型的预测性能相似或更好，但 AUC 低于服务器训练模型。
• 较大的客户端批量大小（B）和每轮更多设备（K）可提升模型质量，但在达到某些值后回报递减。
• 基于动量的服务器更新（momentum=0.9 且使用 Nesterov）在联邦实验中优于 SGD 变体。
• 实时流量显示联邦模型的点击率、表情符号分享和日活跃用户数高于服务器训练模型。
• 在移动端使用 TensorFlow Lite 的低延迟推断（约 1 ms）。