[論文レビュー] Federated Evaluation of On-device Personalization

Kangkang Wang, Rajiv Mathews+4 more|arXiv (Cornell University)|Oct 22, 2019

Human Mobility and Location-Based Analysis被引用数 117

ひとこと要約

この論文は Federated Personalization Evaluation (FPE) を提案し、連合学習の下でデバイス上のパーソナライズを評価し、プライバシー保護の評価とモバイルキーボード言語モデルのユーザー単位での利益を示す。

ABSTRACT

Federated learning is a distributed, on-device computation framework that enables training global models without exporting sensitive user data to servers. In this work, we describe methods to extend the federation framework to evaluate strategies for personalization of global models. We present tools to analyze the effects of personalization and evaluate conditions under which personalization yields desirable models. We report on our experiments personalizing a language model for a virtual keyboard for smartphones with a population of tens of millions of users. We show that a significant fraction of users benefit from personalization.

研究の動機と目的

• プライバシーを損なうことなく、オンデバイスでグローバルモデルをパーソナライズする必要性を動機づける。
• パーソナライズ戦略を評価するために連合学習フレームワークを拡張する。
• パーソナライズされたモデルがユーザー体験を向上させることを保証するハイパーパラメータとゲーティング機構を特定する。
• 大規模な実験を通じて、パーソナライズが多くのユーザーに利益をもたらすことを示す。

提案手法

• 結合入力/出力埋め込みを結び付けた CIFG ベースの LSTM 次単語予測器を使用する。
• 数百万のクライアントに対して Federated Averaging で基礎グローバルモデルを訓練する。
• 各デバイス上でグローバルモデルからローカルデータと定義された訓練/テスト分割を用いてファインチューニングしてパーソナライズする。
• パーソナライズを評価するには、パーソナライズ前後のローカルテストセットの指標を比較し、デルタ指標をアップロードする。
• クライアント全体でデルタ指標を集約して分布を分析し、効果的なハイパーパラメータを決定する。

実験結果

リサーチクエスチョン

• RQ1 オンデバイスのパーソナライズは他の人に悪影響を与えずにユーザー体験を向上させることができるか、そしてそれをどのようにしてデプロイをゲートするか？
• RQ2 どのハイパーパラメータ（バッチサイズ、学習率、停止基準）がパーソナライズの恩恵を受けるユーザーの割合を最大化するか？
• RQ3 パーソナライズの利益はユーザーデータ特性（トークン数、ベースライン精度）とどのように変化するか？
• RQ4 プライバシー保護された FL インフラストラクチャ内で大規模にパーソナライズを評価することは可能か？

主な発見

ハイパーパラメータ	精度のデルタ
B=5,L=0.01	0.012
B=5,L=0.1	0.024
B=5,L=1.0	-0.019
B=10,L=0.01	0.008
B=10,L=0.1	0.022
B=10,L=1.0	0.002
B=20,L=0.01	0.005
B=20,L=0.1	0.018
B=20,L=1.0	0.015

• パーソナライズは平均精度を0.166から0.19へ改善し、相対で14.5%の向上。
• 50万を超えるクライアントで、異なるハイパーパラメータが0.02以上の精度改善を得られるユーザーの割合にばらつきを生じさせる（例: B=5, L=0.1 で 47%、B=10, L=1.0 で 39%、B=10, L=0.1 で 29%）
• 小さなバッチサイズは、学習率が高いと一部ユーザーの劣化をより大きく引き起こす可能性があり、デルタのヒストグラムに現れる。
• ベースライン精度が低いユーザーはパーソナライズの恩恵を受けやすい（例: ベースライン ≤ 0.1 で顕著な向上）。
• データに基づくハイパーパラメータ調整と、パーソナライズモデルを有益である場合のみにデプロイするゲーティング機構の重要性を強調する。