[論文レビュー] Anarchic Federated Learning

Haibo Yang, Xin Zhang+2 more|arXiv (Cornell University)|Aug 23, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 6

ひとこと要約

本稿は、エッジ環境における非均質な状況下でも柔軟で分散型の学習を可能にする、新しいFLパラダイム「アナーキック・フェデレーテッドラーニング（AFL）」を提案する。作業者が参加タイミングと局所的更新ステップを自律的に選択できるため、協調的でない環境下でも柔軟に学習が可能である。本稿では、ややアナーキカルな仮定のもとで最適な収束速度と線形スケーリングを達成する2つの収束性を持つアルゴリズム、AFA-CD と AFA-CS を提案。作業者の非同期性と動的計算にもかかわらず、最先端の性能を達成している。

ABSTRACT

Present-day federated learning (FL) systems deployed over edge networks consists of a large number of workers with high degrees of heterogeneity in data and/or computing capabilities, which call for flexible worker participation in terms of timing, effort, data heterogeneity, etc. To satisfy the need for flexible worker participation, we consider a new FL paradigm called "Anarchic Federated Learning" (AFL) in this paper. In stark contrast to conventional FL models, each worker in AFL has the freedom to choose i) when to participate in FL, and ii) the number of local steps to perform in each round based on its current situation (e.g., battery level, communication channels, privacy concerns). However, such chaotic worker behaviors in AFL impose many new open questions in algorithm design. In particular, it remains unclear whether one could develop convergent AFL training algorithms, and if yes, under what conditions and how fast the achievable convergence speed is. Toward this end, we propose two Anarchic Federated Averaging (AFA) algorithms with two-sided learning rates for both cross-device and cross-silo settings, which are named AFA-CD and AFA-CS, respectively. Somewhat surprisingly, we show that, under mild anarchic assumptions, both AFL algorithms achieve the best known convergence rate as the state-of-the-art algorithms for conventional FL. Moreover, they retain the highly desirable {\em linear speedup effect} with respect of both the number of workers and local steps in the new AFL paradigm. We validate the proposed algorithms with extensive experiments on real-world datasets.

研究の動機と目的

• サーバー中心のフェデレーテッドラーニングの限界を是正すること。これは、同期的かつ調整された作業者参加に依存しており、高い調整オーバーヘッドを伴う。
• 作業者の能力にばらつきがあり、動的でリソース制約が異なるエッジネットワークにおいて、柔軟で分散型の学習を可能にすること。
• 作業者が参加タイミングと局所的ステップを自律的に制御する非協調的（アナーキカル）な作業者行動下で収束性を保証するFLアルゴリズムを開発すること。
• アナーキカルな条件下でも、作業者数と局所的ステップ数の両方に対して、収束における望ましい線形スケーリング効果を維持すること。
• 非独立同分布（non-i.i.d.）データと動的作業者参加の下で、実世界のデータセットを用いて提案アルゴリズムを検証すること。

提案手法

• クロスデバイス（AFA-CD）およびクロスシロ（AFA-CS）設定に対応する、二重学習率を用いたアナーキック・フェデレーテッドアベレージング（AFA）を提案。これにより、非同期的な作業者更新に対応できる。
• サーバー側の集約ルールを設計。作業者の参加頻度と局所的ステップ数に基づき、到着したモデル更新を動的に重み付けすることで、時間変動する作業者行動下でも収束を保証。
• 非同期的かつ非一様な作業者参加と可変な局所的ステップ数を考慮する、新しい収束解析フレームワークを導入。ややアナーキカルな仮定のもとで収束を証明。
• 二重学習率を採用：作業者側での局所的更新用と、サーバー側でのモデル平均化用の別々の学習率を設定。これにより、作業者間の非均質性と非同期性に対する耐性が向上。
• 既存のFL最適化手法（例：FedProx や SCAFFOLD）を、最小限の変更でAFAフレームワークに統合。
• 多様な作業者到着プロセスを模擬するため、一様分布とバイアス付きサンプリング戦略を用い、データおよび参加バイアスに対する耐性を評価。

実験結果

リサーチクエスチョン

• RQ1 作業者が参加タイミングと局所的更新ステップを独立に選択する場合、フェデレーテッドラーニングで収束性を達成できるか？
• RQ2 提案されたアルゴリズムが収束を保つ条件は何か？また、アナーキカルな状況下での達成可能な収束速度はどの程度か？
• RQ3 アナーキカルなFLパラダイムでも、作業者数と局所的ステップ数の両方に対して線形スケーリング効果が維持されるか？
• RQ4 動的かつ非同期的な作業者行動下で、FedProx や SCAFFOLD といった高度な最適化手法を用いた場合、AFLの性能は従来のFLと比べてどうか？
• RQ5 バイアス付きの作業者到着プロセスと古くなった勾配（stale gradients）は、AFLにおけるモデルの収束性と精度にどのような影響を与えるか？

主な発見

• 提案された AFA-CD と AFA-CS アルゴリズムは、ややアナーキカルな仮定のもとで、非凸問題に対して O(1/T) の最良-known 収束速度を達成。これは、サーバー中心のFLアルゴリズムと同等の最先端性能を達成している。
• AFA-CD と AFA-CS の両方とも、線形スケーリング効果を維持：作業者数と局所的ステップ数が増加するにつれ、収束時間が線形に短縮される。非同期的かつ動的作業者参加下でも同様に成立。
• 実験結果から、AFLに統合された FedProx は、FedAvg と同等の性能を維持。MNIST および CIFAR-10 における非i.i.d.レベルの変化に対しても、精度に劣化は認められない。
• SCAFFOLDに基づくAFLは、高非i.i.d.レベル（p=1）のCNNでは性能劣化を示す可能性がある。これは、部分的参加における古くなった制御変数（control variates）が原因と推測されるが、低非i.i.d.設定では安定した性能を示している。
• 作業者到着プロセスにおけるバイアス付きサンプリングは、高非i.i.d.データ（p=1）では性能を低下させるが、分散低減を施したAFA-CSバージョンは、MNISTでは優れた性能、CIFAR-10では中程度の性能を維持。部分的な耐性があることが示唆された。
• 実験により、AFLにFedProxおよびSCAFFOLDを組み合わせた場合、非同期性と動的局所的ステップの下でも、多様な設定、特にShakespeare や CIFAR-10 といった実世界データセットにおいて、高いテスト精度を維持していることが確認された。