[論文レビュー] Federated Learning under Importance Sampling

Elsa Rizk, Stefan Vlaski+1 more|arXiv (Cornell University)|Dec 14, 2020

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、非一様サンプリング戦略を導入し、エージェントおよび局所データの両方に対して重要度サンプリングを用いることで、分散学習における収束性を向上させる。この手法は、局所データのばらつきとモデルの非同一性に基づき、エージェントとデータポイントを動的に選択し、部分参加下での非IIDかつ非同期設定において、O(μ)の収束誤差を達成する。

ABSTRACT

Federated learning encapsulates distributed learning strategies that are managed by a central unit. Since it relies on using a selected number of agents at each iteration, and since each agent, in turn, taps into its local data, it is only natural to study optimal sampling policies for selecting agents and their data in federated learning implementations. Usually, only uniform sampling schemes are used. However, in this work, we examine the effect of importance sampling and devise schemes for sampling agents and data non-uniformly guided by a performance measure. We find that in schemes involving sampling without replacement, the performance of the resulting architecture is controlled by two factors related to data variability at each agent, and model variability across agents. We illustrate the theoretical findings with experiments on simulated and real data and show the improvement in performance that results from the proposed strategies.

研究の動機と目的

• 分散学習における均一サンプリングの性能制限を是正するため、エージェントおよび局所データに対する非一様サンプリング戦略を導入すること。
• 非同期的、非IID、部分参加下の分散学習システムにおける重要度サンプリングの収束への影響を分析すること。
• 非一様サンプリング下での確率的勾配の誤差分散に対する理論的境界を導出することにより、性能をデータおよびモデルの非同一性と関連付けること。
• 局所データおよびモデルのばらつきを考慮した適応的サンプリングポリシーを設計し、期待誤差を最小化すること。
• 理論的結果を実験により検証し、シミュレート済みおよび実世界のデータセットを用いて収束速度および精度の向上を示すこと。

提案手法

• 二段階の重要度サンプリングスキームを提案：エージェントの非一様選択（分布πₖ）と各エージェントにおける局所データの非一様サンプリング（πₙ⁽ᵏ⁾）。
• 非一様サンプリング下での非同期SGDの収束境界を理論的に導出し、最適化されたサンプリング条件下で誤差がO(μ)に比例することを示す。
• サンプリング分布設計を支援するため、各エージェントごとのデータばらつきとエージェント間のモデルばらつきに基づくパフォーマンス指標を導入する。
• 再帰的誤差伝播モデルを用いて、勾配ノイズ項qᵢの期待二乗ノルムをバインドし、局所データの分散とモデルのずれとを関連付ける。
• ジェンセンの不等式および補題4を適用して誤差境界式を簡略化し、サンプリング確率が収束に与える影響を分析可能にする。
• 期待勾配ノイズの上界を最小化するように最適化された適応的サンプリング確率を導出することで、収束を高速化する。

Figure 1: MSD plots of the regression problem: blue curve is the standard mini-batch implementation, green curve is the importance sampling implementation with the true probabilities, red curve is the importance sampling implementation with approximate probabilities ( 49 )–( 50 ), purple curve is th

実験結果

リサーチクエスチョン

• RQ1 非IIDデータおよび非同期動作下におけるエージェントおよび局所データの非一様サンプリングは、分散学習の収束速度にどのように影響するか？
• RQ2 特にデータおよびモデルの非同一性の観点から、分散学習における重要度サンプリングのパフォーマンスを制御する主な要因は何か？
• RQ3 局所データおよびモデルのばらつきに基づく適応的サンプリング戦略は、期待勾配ノイズを低減し、収束性を向上させることができるか？
• RQ4 非一様サンプリング下での非同期分散学習における、期待二乗ノルムの確率的勾配に対する理論的境界はどのように確立できるか？
• RQ5 提案されたサンプリングスキームは、実データおよびシミュレート済みデータにおいて、均一サンプリングと比較して収束速度および最終モデルの精度で優れているか？

主な発見

• 提案された重要度サンプリング方式の収束誤差はO(μ)に比例する。これは、非IIDおよび非同期設定下での均一サンプリングに比べて改善されたものである。
• パフォーマンスは主に2つの要因によって支配される：各エージェント内でのデータばらつきとエージェント間のモデルばらつきであり、両者とも最適なサンプリング分布に影響を与える。
• 局所データの分散とモデルのずれに基づく適応的サンプリングは、期待勾配ノイズを顕著に低減し、収束を高速化する。
• 理論的分析により、勾配ノイズ項qᵢの期待二乗ノルムがO(μ)に有界であることが示され、定数はデータ分布およびサンプリング確率に依存する。
• シミュレート済みおよび実データを用いた実験により、提案された重要度サンプリング戦略が収束速度および最終モデルの精度の両面で均一サンプリングを上回ることを確認した。

Figure 2: Testing error plots of the classification problem.