[論文レビュー] Federated Learning for Ranking Browser History Suggestions

Florian Hartmann, Sunah Suh+3 more|arXiv (Cornell University)|Nov 26, 2019

Privacy-Preserving Technologies in Data参考文献 18被引用数 38

ひとこと要約

この論文は、Firefox の URL バー履歴とブックマークの提案を最適化するプライバシー保護型フェデレーテッド学習システムを実証し、手作りの frecency 重みを置換し、入力文字数を半文字以上削減します。

ABSTRACT

Federated Learning is a new subfield of machine learning that allows fitting models without collecting the training data itself. Instead of sharing data, users collaboratively train a model by only sending weight updates to a server. To improve the ranking of suggestions in the Firefox URL bar, we make use of Federated Learning to train a model on user interactions in a privacy-preserving way. This trained model replaces a handcrafted heuristic, and our results show that users now type over half a character less to find what they are looking for. To be able to deploy our system to real users without degrading their experience during training, we design the optimization process to be robust. To this end, we use a variant of Rprop for optimization, and implement additional safeguards. By using a numerical gradient approximation technique, our system is able to optimize anything in Firefox that is currently based on handcrafted heuristics. Our paper shows that Federated Learning can be used successfully to train models in privacy-respecting ways.

研究の動機と目的

• Federated Learning を、プライバシー保護型のモデル改善のための主要なソフトウェア製品で用いることが可能であることを示す。
• 限られたユーザー操作からのフィードバック信号でデプロイ可能な堅牢な最適化プロセスを開発する。
• frecency ベースのランキングにおける手作りのヒューリスティック重みを学習可能なパラメータに置換しつつ、安全性と解釈可能性を確保する。
• 現実の Firefox 展開に適した勾配推定と安全な集約のメカニズムを提供する。
• URL バーを超えた最適化に再利用可能な、一般的で計算可能な勾配フレームワークを維持する。

提案手法

• クライアントの一部が私的に保持する相互作用からのローカル更新を計算し、それらをサーバーへ送って集約するフェデレーテッド学習ループを実装する。
• frecency ベースのランキングに適応した点ごとの SVM 風のランキング損失を用いて、Delta マージンで選択アイテムを優先するようモデルを訓練する。
• 更新を制限し、安定性と解釈性のために重みごとにステップサイズを適応する勾配降下オプティマイザとして Rprop を採用する。
• 非微分可能または変更が難しいコードパスを含む Firefox 内部での勾配を有限差分法で近似し、コアコードを書き換えずに勾配推定を可能にする。
• Shield を用いた迅速なプロトタイピングと制御されたアップグレード経路を活用し、実デプロイ前のアイデア検証をシミュレーションで行う。
• 安全策を適用する：既存の frecency モデルから初期化、更新の制限、非負ウェイトの強制、新規訪問のウェイトを古いものより高く維持する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド学習は、ユーザーデータを収集せずに大規模なソフトウェア製品の URL バー提案のランキングを効果的に改善できるか。
• RQ2 制限されたノイズのあるユーザー操作からのフィードバックで実世界のデプロイに十分な堅牢性と安定性をどう確保するか。
• RQ3 ブラックボックスの手作りヒューリスティック型ランキングシステムを、プライバシー保護的な方法で勾配ベースの学習を用いて再パラメータ化・改善できるか。
• RQ4 大規模なブラウザ展開において実用的な勾配推定手法とプライバシー保護型の集約戦略は何か。

主な発見

• 新しいモデルは、提案を選択する前のタイプ文字数を半文字以上削減する。
• このシステムは Firefox Beta の大規模なユーザー層に展開され、およそ 360,000 名の参加者のデータで訓練された。
• 最適化はオンラインフェーズのほぼ三日間にわたり 137 回の反復で実行され、数百万の勾配更新と数十億のサーバー通信を伴った。
• このアプローチは、フェデレーテッド学習を現実の製品に適用可能であることを、実践的な安全策と安定性の考慮とともに示している。
• 点ごとのランキング損失の適用と Rprop ベースのオプティマイザを用いた設計により、安定的で境界を持つ更新を保証する。
• 研究に伴い匿名化データセットとオープンソースコードが用意された（データセットは今後公開予定）。