[論文レビュー] Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability

Yikai Yan, Chaoyue Niu+6 more|arXiv (Cornell University)|Feb 18, 2020

Privacy-Preserving Technologies in Data参考文献 40被引用数 12

ひとこと要約

本稿では、間欠的なクライアント利用状況下でのフェデレーテッドラーニングにおける分散非凸最適化アルゴリズムであるFederated Latest Averaging (FedLaAvg)を提案する。利用可能なクライアントからの最新勾配を活用することで、他のクライアントがオフラインであっても、収束速度に$O(1/N^{1/4})$の非線形スケーリングを達成し、MNISTおよびSentiment140データセットにおいて、現実的なクライアント利用パターン下でFedAvgよりも安定性と汎化性能に優れる。

ABSTRACT

Federated learning is a new distributed machine learning framework, where a bunch of heterogeneous clients collaboratively train a model without sharing training data. In this work, we consider a practical and ubiquitous issue when deploying federated learning in mobile environments: intermittent client availability, where the set of eligible clients may change during the training process. Such intermittent client availability would seriously deteriorate the performance of the classical Federated Averaging algorithm (FedAvg for short). Thus, we propose a simple distributed non-convex optimization algorithm, called Federated Latest Averaging (FedLaAvg for short), which leverages the latest gradients of all clients, even when the clients are not available, to jointly update the global model in each iteration. Our theoretical analysis shows that FedLaAvg attains the convergence rate of $O(E^{1/2}/(N^{1/4} T^{1/2}))$, achieving a sublinear speedup with respect to the total number of clients. We implement FedLaAvg along with several baselines and evaluate them over the benchmarking MNIST and Sentiment140 datasets. The evaluation results demonstrate that FedLaAvg achieves more stable training than FedAvg in both convex and non-convex settings and indeed reaches a sublinear speedup.

研究の動機と目的

• バッテリーおよびネットワーク制約などのデバイス制約により、参加が時間とともに変動するクロスデバイスフェデレーテッドラーニングにおける、間欠的なクライアント利用状況の課題に対処すること。
• 動的クライアント利用状況および非I.I.D.データ分布下でも、トレーニングの安定性と収束性を維持できる実用的な最適化アルゴリズムを設計すること。
• 部分的かつ時間変動するクライアント参加下での収束性を理論的に分析し、従来のFedAvg分析で仮定されていた完全なクライアント利用状態という強い仮定を緩和すること。
• 凸および非凸設定下で、FedLaAvgがFedAvgよりも非線形スケーリングの加速とより優れた汎化性能を達成することを実証的に検証すること。

提案手法

• FedLaAvgは、現在のラウンドに参加していないクライアントの最新勾配でさえも保持・利用し、グローバルモデルを更新する。
• アルゴリズムは、最後の更新時刻に基づいてクライアントを選択し、最も最近の勾配を持つクライアントを優先することで、勾配の陳腐化を低減する。
• すべてのクライアントの最新勾配の平均を計算するために、勾配差分集約メカニズムを用いることで、最新のモデル更新を保証する。
• 理論的分析により、収束速度が$O(E^{1/2}/(N^{1/4}T^{1/2}))$であることが示され、クライアント総数$N$に対して非線形スケーリングが達成されることを実証する。
• 軽量な設計となっており、クライアントあたり$O(Q)$の追加ストレージで最新勾配を保存できるため、リソース制限のあるデバイスでも実用可能である。
• クラウドサーバーはクライアントの利用可能タイムスタンプのリストを維持し、各ラウンドごとに最も最近の$K$名のクライアントを選択して、勾配の陳腐化を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 クライアントが予測不能に参加・離脱を繰り返す間欠的なクライアント利用状況下でも、フェデレーテッド最適化アルゴリズムが安定した収束を達成できるか？
• RQ2 非凸設定下で、すべてのクライアントから利用可能な最新勾配を活用することで、FedAvgに比べて収束性と汎化性能が向上するか？
• RQ3 時間変動するクライアント利用状況下でのフェデレーテッドアルゴリズムの理論的収束速度は何か？また、クライアント数に対して非線形スケーリングが達成されるか？
• RQ4 実世界のデータセットにおいて、FedLaAvgのテスト精度およびトレーニング安定性は、FedAvg、FedProx、FedSGDと比較してどのように異なるか？

主な発見

• FedLaAvgは理論的収束速度$O(E^{1/2}/(N^{1/4}T^{1/2}))$を達成し、クライアント総数$N$に対して非線形スケーリングが実現されている。
• MNISTデータセットでは、特にクライアント利用状況の変動が大きく、非I.I.D.データが存在する状況下で、FedAvgおよびFedProxよりも高いテスト精度を達成した。
• Sentiment140データセットでは、1ラウンドあたりの利用可能クライアント数が僅かであっても、FedLaAvgは安定したトレーニングと優れた汎化性能を維持した。
• クライアント数$N$および選択率$\beta$に関わらず一貫した性能を示し、$N$が増加するにつれてテスト精度が向上するが、その割合は減少する傾向にあり、非線形スケーリングが確認された。
• 実験結果から、FedLaAvgは、間欠的な利用状況によって生じるデータバイアスの悪影響を軽減し、トレーニングデータとテストデータの分布の整合性を高めていることが示された。
• 最小限のオーバーヘッドで実現可能である：クライアントあたり$O(Q)$のストレージ、サーバー側で$O(N+Q)$の計算コストであり、モバイルおよびエッジデバイスへの実装に実用的である。