[論文レビュー] Federated Learning for Mobile Keyboard Prediction

Andrew Hard, K. Praveen Kumar Rao+7 more|arXiv (Cornell University)|Nov 8, 2018

Privacy-Preserving Technologies in Data参考文献 27被引用数 1,105

ひとこと要約

本論文は、携帯端末上で連邦学習を用いて次語予測の CIFG LSTM 言語モデルを訓練し、サーバーで訓練されたモデルおよびベースラインの n-gram モデルをリコール指標で上回ることを示す。モバイルキーボードのオンデバイス訓練の実現可能性とプライバシー利点を示す。

ABSTRACT

We train a recurrent neural network language model using a distributed, on-device learning framework called federated learning for the purpose of next-word prediction in a virtual keyboard for smartphones. Server-based training using stochastic gradient descent is compared with training on client devices using the Federated Averaging algorithm. The federated algorithm, which enables training on a higher-quality dataset for this use case, is shown to achieve better prediction recall. This work demonstrates the feasibility and benefit of training language models on client devices without exporting sensitive user data to servers. The federated learning environment gives users greater control over the use of their data and simplifies the task of incorporating privacy by default with distributed training and aggregation across a population of client devices.

研究の動機と目的

• 生データをサーバーへ送信せず、モバイルキーボードでの次語予測を動機づけ、実現する。
• オンデバイス訓練と推論に適した CIFG ベースの LSTM 言語モデルを開発する。
• 商用環境において、サーバーベースの SGD と対比して FederatedAveraging を用いる連邦学習を評価する。
• モバイルNLPタスクにおける連邦訓練のプライバシー利点と実用的な実現性を示す。

提案手法

• オンデバイスの次語予測のため、670ユニットの Coupled Input-Forget Gates (CIFG) LSTM と 10,000 語の語彙を用いる。
• クライアント更新をサーバーが集約する Federated Averaging (FedAvg) を用いて、サーバーおよびオンデバイスデータからゼロから訓練する。
• 更新はモデル重みのみとして保持し、オンデバイスデータは決してアップロードしない。
• サーバー配布ログ、クライアントキャッシュ、実機実験を通じてリコール（Top-1およびTop-3）と実運用指標を評価する。
• 重みを量子化し、入力埋め込みを出力射影と結びつけて、オンデバイスのサイズを約1.4 MBに削減する。

実験結果

リサーチクエスチョン

• RQ1 連邦学習はモバイルキーボード上のニューラル言語モデルの訓練において、サーバーベースの訓練と同等かそれを上回ることができるか？
• RQ2 オンデバイスの連邦訓練は、強力な n-gram ベースラインと比較して次語予測のリコールを改善するか？
• RQ3 モバイルキーボード予測に連邦学習を導入する際のプライバシーと展開の影響は何か？
• RQ4 実世界のライブユーザー実験における連邦 CIFG の性能は、サーバー訓練モデルと比べてどうか？

主な発見

• Federated CIFG は、サーバーのログとクライアントキャッシュの両方で基準の n-gram モデルより高いリコールを達成する。
• Top-1 recall: Federated CIFG 16.4% vs Server CIFG 16.5% on server data; Top-3 recall: Federated CIFG 27.0% vs Server CIFG 27.1% on server data.
• クライアント owned caches では、Federated CIFG の Top-1 recall が 15.8%、Server CIFG が 15.0%（0.8 ポイント高い）。
• ライブの本番実験では、Federated CIFG の Top-1 recall が 5.82%、Server CIFG が 5.76%（Top-1）、Top-3 recall が 13.75% vs 13.63%（Top-3）。
• Federated CIFG は、ライブ実験で Top-1 および Top-3 のインプレッションリコールに対してサーバー CIFG より相対的に 1% の改善をもたらす。
• Federated training は 約4–5日で 1.5 百万クライアントにまたがる 6億文を処理し、3000ラウンド後に収束。