[論文レビュー] Applied Federated Learning: Improving Google Keyboard Query Suggestions

Timothy T. Yang, Galen Andrew+6 more|arXiv (Cornell University)|Dec 7, 2018

Privacy-Preserving Technologies in Data参考文献 10被引用数 449

ひとこと要約

論文は、連邦学習をエンドツーエンドで活用して、モバイルデバイス上でトリガーモデルを訓練・評価・デプロイし、生データにアクセスせず Google Keyboard のクエリ提案をフィルタリングすることで、CTRを改善しつつプライバシーを保護することを実証します。

ABSTRACT

Federated learning is a distributed form of machine learning where both the training data and model training are decentralized. In this paper, we use federated learning in a commercial, global-scale setting to train, evaluate and deploy a model to improve virtual keyboard search suggestion quality without direct access to the underlying user data. We describe our observations in federated training, compare metrics to live deployments, and present resulting quality increases. In whole, we demonstrate how federated learning can be applied end-to-end to both improve user experiences and enhance user privacy.

研究の動機と目的

• 商用モバイルキーボード機能のエンドツーエンドFLワークフローを実証する。
• オンデバイスでのFL訓練と集約のプライバシー利益と性能を評価する。
• トリガーモデルが中央データアクセスなしでクエリ提案品質を改善できることを示す。

提案手法

• サーバー訓練済みベースラインモデルとFL訓練済みトリガーモデルの2段階推奨システム。
• FLタスクの特徴量とラベル（表示回数/クリック数）をデバイス上で収集。
• 中央データアクセスなしでクライアント更新をグローバルモデルに集約するFederated Averaging。
• モデル収束とデプロイを指針とするデバイス上での評価とモニタリング。
• CTRと保持表示をバランスさせる閾値ベースのトリガー。
• 初期実験ではFLモデルとしてロジスティック回帰を採用し、ニューロンモデルへの拡張の可能性を示唆。

実験結果

リサーチクエスチョン

• RQ1 生データにアクセスせずにモバイル端末上のフェデレーテッドラーニングは Gboard のクエリ提案の質を向上させるか？
• RQ2 本番環境で端末上のFL訓練と集約をエンドツーエンドで展開する際の現実的な訓練ダイナミクス、制約、プライバシーへの影響は？
• RQ3 FL訓練済みのトリガーモデルは従来のベースラインと比較してクリック率と保持表示にどのような影響を与えるか？
• RQ4 日内のデバイス利用可能性と集団偏りが端末上のプライバシー保護型訓練においてどのような課題を生むか？

主な発見

• FL訓練済みのトリガーモデルは、選択された閾値でベースラインと比較してクリック率（CTR）を改善する。
• 訓練には日内パターンが現れ、ほとんどのラウンドはデバイスが充電中でメータなしネットワークの夜間に実行される。
• 評価では人口の偏りや環境的制約により訓練と実測メトリクスが乖離する可能性が示された。
• 閾値の調整はトリガー率とユーザー体験のバランスに影響を与え、保持表示とクリックに影響を与える。
• ロジスティック回帰はこの設定で解釈性が高く有効な出発点を提供し、その後の反復でLSTMベースのテキスト特徴量などより複雑な特徴量を取り入れた。