[논문 리뷰] FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning

Junkang Liu, Fanhua Shang외 4명|arXiv (Cornell University)|2026. 03. 05.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

이 논문은 연합 학습을 위한 블록좌표 경사 하강 방법인 FedBCGD를 도입하며, 선택된 매개변수 블록만 업로드하여 통신을 줄이고, FedBCGD+는 클라이언트 드리프트 제어와 분산 감소를 더해 수렴 속도를 높인다.

ABSTRACT

Although Federated Learning has been widely studied in recent years, there are still high overhead expenses in each communication round for large-scale models such as Vision Transformer. To lower the communication complexity, we propose a novel Federated Block Coordinate Gradient Descent (FedBCGD) method for communication efficiency. The proposed method splits model parameters into several blocks, including a shared block and enables uploading a specific parameter block by each client, which can significantly reduce communication overhead. Moreover, we also develop an accelerated FedBCGD algorithm (called FedBCGD+) with client drift control and stochastic variance reduction. To the best of our knowledge, this paper is the first work on parameter block communication for training large-scale deep models. We also provide the convergence analysis for the proposed algorithms. Our theoretical results show that the communication complexities of our algorithms are a factor $1/N$ lower than those of existing methods, where $N$ is the number of parameter blocks, and they enjoy much faster convergence than their counterparts. Empirical results indicate the superiority of the proposed algorithms compared to state-of-the-art algorithms. The code is available at https://github.com/junkangLiu0/FedBCGD.

연구 동기 및 목표

• 대규모 모델에서 모델 매개변수를 블록으로 분할하고 선택된 블록만 업로드하여 연합 학습의 통신 오버헤드를 줄이는 것을 목표로 한다.
• 서버에서 모멘텀과 블록 단위 집계를 통해 더 빠른 수렴을 가능하게 한다.
• 매개변수 블록 드리프트와 데이터 이질성을 해결하여 안정성과 정확도를 향상시킨다.
• 수렴성과 통신 복잡도에 대한 이론적 보장을 제공한다.
• CIFAR 및 ImageNet 규모의 모델에서 최첨단 FL 기준선과의 실증 검증이다.

제안 방법

• 모델 매개변수를 N+1 블록으로 나눈다: N개의 매개변수 블록과 공유 블록을 더한다.
• 각 클라이언트는 로컬에서 모든 매개변수를 업데이트하지만 두 개의 블록(특정 매개변수 블록과 공유 블록)만 업로드한다.
• 서버는 업데이트된 블록들에 대해 평균화/집계를 수행하고 매개변수 블록과 공유 블록에 모멘텀을 적용한다.
• FedBCGD는 전송 중 누락된 매개변수를 보상하기 위해 서버 측의 블록 단위 모멘텀을 도입한다.
• FedBCGD+는 클라이언트 드리프트 제어 변수와 SVRG 방식의 분산 감소로 클라이언트 이질성과 그래디언트 노이즈를 완화하도록 FedBCGD를 확장한다.
• 이론적 분석은 통신 복잡도를 블록 수 N, 데이터 이질성 G, 그래디언트 노이즈 σ, 참여 S의 함수로 도출한다.

Figure 1 . The diagram of the proposed FedBCGD framework, where $S\geq N$ , $S$ and $N$ are the numbers of clients and parameter blocks, respectively.

실험 결과

연구 질문

• RQ1 대규모 모델 학습에서 블록 매개변수 업데이트를 사용하여 연합 학습의 통신 오버헤드를 어떻게 줄일 수 있는가?
• RQ2 모멘텀과 부분 업로드를 활용한 블록 좌표 접근 방식이 FL의 전체 모델 업데이트에 비해 경쟁력 있는 수렴 속도를 달성할 수 있는가?
• RQ3 비 IID 데이터와 확률적 그래디언트 하에서 드리프트 제어 및 분산 감소(FedBCGD+)를 포함하는 것이 수렴을 개선하는가?
• RQ4 강결합 및 비볼록 설정에서 FedBCGD와 FedBCGD+의 이론적 통신 복잡도 보장은 무엇인가?
• RQ5 다양한 모델 아키텍처에서 표준 FL 벤치마크(CIFAR-10/100, Tiny ImageNet, EMNIST)에 대해 FedBCGD와 FedBCGD+가 경험적으로 어떻게 수행되는가?

주요 결과

• FedBCGD는 블록 매개변수와 공유 블록만 업데이트하고 업로드함으로써 라운드당 통신을 크게 감소시킨다.
• FedBCGD+는 클라이언트 드리프트 제어 변수와 SVRG형 분산 감소를 추가하여 수렴 속도를 더 가속화한다.
• CIFAR-100 실험에서 FedBCGD는 CIFAR-100에서 LeNet-5의 77d vs 558d에 해당하는 7.3배의 속도로 40% 정확도에 도달한다.
• FedBCGD+는 ResNet-18에서 54% 정확도에 도달하고 1.8배의 속도 증가를 달성한다(277d 대 154d for CIFAR-100).
• 다양한 아키텍처의 CIFAR-10/ CIFAR-100에서 FedBCGD/FedBCGD+은 FedAvg 및 여러 기준선보다 수렴 속도와 이질 데이터(ρ=0.6)에서의 견고성 면에서 우수하다.
• 이론적 결과는 FedBCGD와 FedBCGD+가 여러 기준선보다 낮은 통신 복잡도를 달성함을 보여주며, 특히 비볼록 상황에서 강력한 보장을 제공하고 통신 비용에서 1/N의 개선을 제공한다.

(a) Strongly Convex