[논문 리뷰] Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|2021. 02. 05.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 13

한 줄 요약

이 논문은 비볼록 분산 학습에서의 편향과 분산을 줄이는 데 초점을 맞춘 새로운 국소 최적화 방법인 편향-분산 감소 국소 SGD(Bias-Variance Reduced Local SGD, BVR-L-SGD)를 제안한다. 이 방법은 국소 목표 함수의 작은 이阶도 비균형성을 활용하여 기울기 추정의 편향과 분산을 감소시킨다. 작은 비균형성과 큰 국소 계산 예산 조건 하에서 통신 복잡도가 $\epsilon^{-1}$ 장벽을 돌파하며, 기존의 비국소 및 이전 국소 방법들보다 이론적·실험적으로 뛰어난 성능을 보인다.

ABSTRACT

Recently, local SGD has got much attention and been extensively studied in the distributed learning community to overcome the communication bottleneck problem. However, the superiority of local SGD to minibatch SGD only holds in quite limited situations. In this paper, we study a new local algorithm called Bias-Variance Reduced Local SGD (BVR-L-SGD) for nonconvex distributed optimization. Algorithmically, our proposed bias and variance reduced local gradient estimator fully utilizes small second-order heterogeneity of local objectives and suggests randomly picking up one of the local models instead of taking the average of them when workers are synchronized. Theoretically, under small heterogeneity of local objectives, we show that BVR-L-SGD achieves better communication complexity than both the previous non-local and local methods under mild conditions, and particularly BVR-L-SGD is the first method that breaks the barrier of communication complexity $Θ(1/\varepsilon)$ for general nonconvex smooth objectives when the heterogeneity is small and the local computation budget is large. Numerical results are given to verify the theoretical findings and give empirical evidence of the superiority of our method.

연구 동기 및 목표

• 국소 최적화 방법의 효율성을 향상시켜 분산 학습의 통신 병목 현상을 해결하기 위해.
• 높은 데이터 비균형성 조건에서 성능이 저하되는 기존 국소 SGD 방법의 이론적·실험적 한계를 극복하기 위해.
• 국소 목표 함수가 작은 이阶도 비균형성을 보일 경우에도 낮은 통신 복잡도를 유지할 수 있는 방법을 개발하기 위해.
• 공정한 비교 조건(각 통신 라운드당 총 국소 계산량을 동일하게 유지) 하에서 국소 방법이 비국소 방법을 능가할 수 있음을 이론적·실험적으로 입증하기 위해.
• 약한 조건 하에서 비볼록 문제에 대해 $\Theta(1/\varepsilon)$ 이하의 새로운 통신 복잡도 한계를 설정하기 위해.

제안 방법

• 국소 목표 함수의 작은 이阶도 비균형성을 활용하여 편향과 분산이 감소한 새로운 국소 기울기 추정기를 제안한다.
• 기존에 국소 모델을 평균화하는 것과는 달리, 전역 집계를 위해 국소 모델 중 하나를 무작위로 선택하는 새로운 동기화 전략을 도입한다.
• 국소 목표 함수의 작은 일阶도 및 이阶도 비균형성 조건 하에서 이론적 통신 복잡도 한계를 유도한다.
• 일般적인 비볼록 스무쓰 목표 함수에 대한 수렴 분석을 수행하며, 비균형성이 작고 국소 계산 예산이 클 경우 통신 효율성이 향상됨을 보여준다.
• 다양한 비균형성과 계산 예산 조건에서 이미지 분류 작업에 대해 방법을 실증적으로 검증한다.
• 각 방법의 통신 라운드당 총 국소 기울기 계산량을 동일하게 유지하는 공정한 비교 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 작은 데이터 비균형성 조건 하에서 비볼록 분산 학습에서 국소 SGD 변종이 비국소 방법보다 더 낮은 통신 복잡도를 달성할 수 있는가?
• RQ2 제안된 편향-분산 감소 기울기 추정기가 국소 목표 함수에 작은 이阶도 비균형성이 존재할 경우 수렴 성능 향상에 기여하는가?
• RQ3 동기화 시 국소 모델을 평균화하는 것보다 무작위 선택 전략이 통신 비용 절감에 더 효과적인가?
• RQ4 약한 조건 하에서 비볼록 문제에 대해 국소 방법의 통신 복잡도를 $\Theta(1/\varepsilon)$ 이하로 개선할 수 있는가?
• RQ5 다양한 수준의 데이터 비균형성과 계산 예산 조건에서 BVR-L-SGD의 성능이 SCAFFOLD, FedAvg 및 비국소 방법들과 비교하여 어떻게 되는가?

주요 결과

• 국소 목표 함수의 비균형성이 작고 국소 계산 예산이 클 경우, BVR-L-SGD는 비볼록 스무쓰 목표 함수에 대해 $\Theta(1/\varepsilon)$ 이하의 통신 복잡도를 달성하며, 이는 이전 방법들이 겪었던 알려진 장벽을 돌파한 것이다.
• 실험 결과, BVR-L-SGD는 모든 비균형성 수준에서 SCAFFOLD, L-SGD, FedAvg를 일관되게 능가하며, 비균형성이 증가함에 따라 성능 저하가 최소한이다.
• 고정된 국소 계산 예산 $\mathcal{B} = 1,024$ 조건에서, BVR-L-SGD는 가장 높은 비균형성($q = 0.5$)에서도 최고의 테스트 정확도와 가장 낮은 훈련 손실을 기록했으며, 다른 국소 방법들은 성능이 크게 저하되었다.
• 국소 계산 예산 $\mathcal{B}$ 가 증가함에 따라 BVR-L-SGD의 성능은 향상되나, 비국소 방법은 변화가 없었으며, 이는 BVR-L-SGD가 더 큰 국소 계산을 효과적으로 활용할 수 있음을 확인한다.
• BVR-L-SGD는 첫 번째 통신 라운드부터 우수한 수렴 특성을 유지하며, 모든 설정에서 모든 기준 방법들보다 일관되게 높은 훈련 손실과 테스트 정확도를 확보했다.
• 이론적 분석을 통해 BVR-L-SGD의 통신 복잡도가 약한 조건 하에서 이전의 비국소 및 국소 방법들보다 엄밀히 우수함을 확인했으며, 특히 이阶도 비균형성이 작을 경우 두드러진 성능 향상이 있다.