[論文レビュー] FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning

Junkang Liu, Fanhua Shang+4 more|arXiv (Cornell University)|Mar 5, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

この論文は、通信を削減するために選択されたパラメータブロックのみをアップロードする連合学習のブロック座標勾配法 FedBCGD と、クライアント・ドリフト制御と分散減少を追加して収束を速める FedBCGD+ を導入します。

ABSTRACT

Although Federated Learning has been widely studied in recent years, there are still high overhead expenses in each communication round for large-scale models such as Vision Transformer. To lower the communication complexity, we propose a novel Federated Block Coordinate Gradient Descent (FedBCGD) method for communication efficiency. The proposed method splits model parameters into several blocks, including a shared block and enables uploading a specific parameter block by each client, which can significantly reduce communication overhead. Moreover, we also develop an accelerated FedBCGD algorithm (called FedBCGD+) with client drift control and stochastic variance reduction. To the best of our knowledge, this paper is the first work on parameter block communication for training large-scale deep models. We also provide the convergence analysis for the proposed algorithms. Our theoretical results show that the communication complexities of our algorithms are a factor $1/N$ lower than those of existing methods, where $N$ is the number of parameter blocks, and they enjoy much faster convergence than their counterparts. Empirical results indicate the superiority of the proposed algorithms compared to state-of-the-art algorithms. The code is available at https://github.com/junkangLiu0/FedBCGD.

研究の動機と目的

• 大規模モデルの連合学習における通信オーバーヘッドを、モデルパラメータをブロックに分割し、選択したブロックのみをアップロードすることで低減する。
• サーバ側のモーメントとブロック単位の集約を通じて、収束をより速くする。
• パラメータブロックのドリフトとデータの非一様性に対処し、安定性と精度を向上させる。
• 収束と通信複雑性について理論的保証を提供する。
• CIFARとImageNet規模のモデルで、最新のFLベースラインと実世界データで経験的に検証する。

提案手法

• モデルパラメータをN+1ブロックに分割する：N個のパラメータブロックと共有ブロック。
• 各クライアントは全パラメータを局所更新するが、アップロードするのは2つのブロックのみ（特定のパラメータブロックと共有ブロック）。
• サーバは更新されたブロックを平均化/集約し、パラメータブロックと共有ブロックにモーメントを適用する。
• FedBCGD は送信時の欠落パラメータを補うため、サーバ側でブロック単位のモーメントを導入する。
• FedBCGD+ は FedBCGD を拡張し、クライアント・ドリフトの共分散変量とSVRG風の分散削減を用いて、クライアントの非 IID 性と勾配ノイズを緩和する。
• 理論分析では、ブロック数N、データのヘテロゲニティG、勾配ノイズσ、参加Sに対する通信複雑性を導出する。

Figure 1 . The diagram of the proposed FedBCGD framework, where $S\geq N$ , $S$ and $N$ are the numbers of clients and parameter blocks, respectively.

実験結果

リサーチクエスチョン

• RQ1 大規模モデルのブロックパラメータ更新を用いて、通信オーバーヘッドを削減しつつ連合学習を行うにはどうすればよいか。
• RQ2 モーメントと部分アップロードを用いたブロック座標アプローチは、FLにおける全モデル更新と比べて競争力のある収束速度を達成できるか。
• RQ3 ドリフト制御と分散削減（FedBCGD+）を導入することで、非IIDデータと確率的勾配下での収束は改善されるか。
• RQ4 強凸および非凸設定における FedBCGD および FedBCGD+ の理論的通信複雑性保証は何か。
• RQ5 FedBCGD および FedBCGD+ は、複数のモデルアーキテクチャを用いた標準的な FL ベンチマーク（CIFAR-10/100、Tiny ImageNet、EMNIST）で、どの程度実験的に性能を示すか。

主な発見

• FedBCGD は、ブロックパラメータと共有ブロックのみを更新・アップロードすることで、ラウンドごとの通信を大幅に削減する。
• FedBCGD+ はクライアント・ドリフト共分散と SVRG 風の分散削減を追加することで、収束をさらに加速する。
• CIFAR-100 の実験で、FedBCGD は LeNet-5 の CIFAR-100 で 77日対 558日という速度比で 40% の精度を達成。
• FedBCGD+ は ResNet-18 で 1.8x の速度比で 54% の精度に到達（CIFAR-100 の場合、277日対 154日）。
• 複数アーキテクチャを用いた CIFAR-10/ CIFAR-100 では、FedBCGD/FedBCGD+ は FedAvg およびいくつかのベースラインを、収束速度と非一様データ下の頑健性（ρ=0.6）で上回る。
• 理論的結果として、FedBCGD および FedBCGD+ はいくつかのベースラインよりも低い通信複雑性を達成し、特に非凸において FedBCGD+ は強力な保証と通信コストの 1/N 倍の改善を提供する。

(a) Strongly Convex