[論文レビュー] Asynchronous Hierarchical Federated Learning

Xing Wang, Yijun Wang|arXiv (Cornell University)|May 31, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、エッジ集約者を用いてクライアントをクラスタに組織し、勾配の古さに基づく重み付けによる非同期勾配集約を実装することで、サーバ負荷を軽減し収束を加速する、新しいFLアーキテクチャ「非同期階層型フェデレーテッドラーニング（FedAH）」を提案する。CIFAR-10で評価した結果、FedAvg や階層型FedAvg と比較して収束が速く、安定性が向上し、最適なハイパーパrameter設定下で検証精度が60%を超えた。

ABSTRACT

Federated Learning is a rapidly growing area of research and with various benefits and industry applications. Typical federated patterns have some intrinsic issues such as heavy server traffic, long periods of convergence, and unreliable accuracy. In this paper, we address these issues by proposing asynchronous hierarchical federated learning, in which the central server uses either the network topology or some clustering algorithm to assign clusters for workers (i.e., client devices). In each cluster, a special aggregator device is selected to enable hierarchical learning, leads to efficient communication between server and workers, so that the burden of the server can be significantly reduced. In addition, asynchronous federated learning schema is used to tolerate heterogeneity of the system and achieve fast convergence, i.e., the server aggregates the gradients from the workers weighted by a staleness parameter to update the global model, and regularized stochastic gradient descent is performed in workers, so that the instability of asynchronous learning can be alleviated. We evaluate the proposed algorithm on CIFAR-10 image classification task, the experimental results demonstrate the effectiveness of asynchronous hierarchical federated learning.

研究の動機と目的

• 多数のクライアント参加に起因する集中型フェデレーテッドラーニングにおけるスケーラビリティと通信ボトルネック問題に対処する。
• エッジ集約者を導入した階層的クラスタリングにより、サーバワークロードを低減する。
• 非同期学習と古さに配慮した集約を統合することで、収束速度とシステムのロバストネスを向上させる。
• ローカルクライアントにおける正則化と勾配の古さに基づく重み付け集約を用いて、非同期学習の安定化を図る。
• 異種のデバイスとネットワーク環境を想定した実世界の展開に適した、システムの柔軟性とスケーラビリティを強化する。

提案手法

• ネットワークトポロジーやクラスタリングアルゴリズムを用いてクライアントをクラスタに編成し、各クラスタに1台のクラスタ集約者を指定する。
• 階層的集約を適用：まずローカルモデルをクラスタレベルで集約し、その後中央サーバに送信するのはクラスタの要約情報のみとする。
• 非同期フェデレーテッドラーニングを適用し、中央サーバが勾配を集約する際に、多項式の古さ関数 σ(t′−t)=(t′−t+1)−β を用いて古い勾配に重みを付ける。
• 非同期環境下での学習安定化のため、ローカルクライアントでL2正則化を用いた正則化付き確率的勾配降下法を実装する。
• 更新速度の速い・遅いデバイスの寄与度をバランスさせるために、古さとクラスタレベルの重要度の両方でグローバルモデル更新を重み付する。
• ハイブリッド通信パターンを採用：ローカル更新は独立して行われ、クラスタおよび中央サーバへの報告は非同期で実行される。

実験結果

リサーチクエスチョン

• RQ1 階層的クラスタリングは、大規模なフェデレーテッドラーニングにおける通信オーバーヘッドとサーバ負荷を低減できるか？
• RQ2 古さに配慮した非同期勾配集約は、収束速度と安定性をどのように向上させるか？
• RQ3 ローカルクライアントに適用したL2正則化は、非同期フェデレーテッドラーニングにおける不安定性をどの程度軽減できるか？
• RQ4 ハイパーパrameter（例：古さ関数のβ）の違いが収束と精度に与える影響はどの程度か？
• RQ5 非i.i.d.および異種環境下でも、中央集約型のFedAvgと比較して、階層的設計はモデル精度を維持または向上できるか？

主な発見

• 古さ関数のβ=2またはβ=3の場合、2500エポックの学習後、CIFAR-10で検証精度が60%を超えた。β=0やβ=1と比較して顕著に優れた性能を示した。
• β=2またはβ=3の場合、学習曲線は安定しており、収束が速かった。これは、中程度の古さ処理が収束を向上させつつ精度を損なわないことを示している。
• 中央サーバの通信負荷は2500エポックで8,842回の更新にまで低減された。これは、FedAsyncの44,769回およびFedAvgの50,000回と比較して、顕著な通信コスト削減を示している。
• クラスタ集約者は52,904回の更新を処理した。これは、階層的集約が中央サーバの負荷を効果的に軽減していることを裏付けている。
• 古さに配慮した集約とローカル正則化のおかげで、デバイスの非均一性、特に遅延デバイス（ストラグル）に対しても耐性を示した。
• 正則化係数λは現在の設定下でほとんど影響を及ぼさなかった。これは、正則化の恩恵を十分に活用するには、さらなるチューニングやストラグルのシミュレーションが必要である可能性を示唆している。