[논문 리뷰] Accelerating Federated Learning via Momentum Gradient Descent

Wei Liu, Li Chen외 2명|arXiv (Cornell University)|2019. 10. 08.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 11

한 줄 요약

이 논문은 동적 경사 하강법(MGD)을 분산학습의 국지적 업데이트 단계에 통합하여 수렴 속도를 가속화하는 모멘텀 분산학습(MFL)을 제안한다. 이전 기울기 정보를 활용함으로써 MFL은 표준 분산학습(FL)보다 더 빠른 전역 수렴을 달성하며, 이는 이론적 분석과 MNIST에 대한 실험을 통해 확인되었으며, 특히 모멘텀 계수 γ ≈ 0.9이고 집계 주기 τ가 적절히 조정된 경우에 뚜렷한 향상이 이루어진다.

ABSTRACT

Federated learning (FL) provides a communication-efficient approach to solve machine learning problems concerning distributed data, without sending raw data to a central server. However, existing works on FL only utilize first-order gradient descent (GD) and do not consider the preceding iterations to gradient update which can potentially accelerate convergence. In this paper, we consider momentum term which relates to the last iteration. The proposed momentum federated learning (MFL) uses momentum gradient descent (MGD) in the local update step of FL system. We establish global convergence properties of MFL and derive an upper bound on MFL convergence rate. Comparing the upper bounds on MFL and FL convergence rate, we provide conditions in which MFL accelerates the convergence. For different machine learning models, the convergence performance of MFL is evaluated based on experiments with MNIST dataset. Simulation results comfirm that MFL is globally convergent and further reveal significant convergence improvement over FL.

연구 동기 및 목표

• 단지 첫 번째 순서 기울기 하강법만을 사용하는 표준 분산학습(FL)의 느린 수렴 문제를 해결하기 위해.
• 국지적 학습 과정에 모멘텀을 통합하여 분산 기계학습의 통신 효율성과 수렴 속도를 향상시키기 위해.
• 실제 FL 시스템 환경 조건 하에서 제안된 MFL 프레임워크의 이론적 수렴 보장을 수립하기 위해.
• MNIST 데이터셋을 활용하여 MFL이 수렴 속도와 최종 모델 정확도 측면에서 FL보다 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• 각 클라이언트가 이전 기울기 방향에 기반한 모멘텀 항을 사용하는 방식으로, 분산학습의 국지적 업데이트 단계에 모멘텀 경사 하강법(MGD)을 통합한다.
• 일부 조건 하에서 전역 최적점으로의 선형 수렴을 보여주는 MFL의 수렴 속도에 대한 이론적 상한선을 유도한다.
• 모멘텀 계수 γ를 통해 국지적 모델 업데이트와 모멘텀 항을 조합하는 수정된 업데이트 규칙을 제안하며, γ는 이전 기울기의 영향을 조절한다.
• 집계 주기 τ와 학습률 η의 변화에 따른 수렴 행동을 분석하고 최적의 하이퍼파rameter 범위를 규명한다.
• 클라이언트가 매 τ개의 국지적 스텝마다 모델 파라미터를 서버에 전송하는 전역 집계 전략을 적용하여 통신 효율성을 유지한다.
• 손실과 정확도를 반복 횟수에 따라 추적하면서, SVM, 로지스틱 회귀, 선형 회귀 세 가지 모델을 대상으로 MNIST 데이터셋을 사용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 모멘텀 경사 하강법은 표준 경사 하강법에 비해 분산학습의 수렴 속도를 향상시킬 수 있는가?
• RQ2 제안된 MFL 방법이 표준 FL에 비해 가속된 수렴을 달성할 수 있는 조건은 무엇인가?
• RQ3 하이퍼파rameter인 γ(모멘텀 계수)와 τ(집계 주기)가 MFL의 수렴 속도와 최종 모델 성능에 미치는 영향는 어떠한가?
• RQ4 MFL의 수렴 속도에 대한 이론적 상한선는 무엇이며, 이는 FL과 비교해 어떻게 다른가?
• RQ5 비독립 동일분포(non-iid) 데이터와 제한된 통신 조건 하에서도 MFL은 빠른 수렴을 달성하면서도 전역 수렴을 유지하는가?

주요 결과

• MFL은 MNIST 데이터셋에서 테스트된 모든 모델(SVM, 로지스틱, 선형 회귀)에 대해 손실 함수 곡선이 더 급격히 내려가는 방식으로 표준 FL보다 더 빠른 수렴을 달성한다.
• γ ≈ 0.9일 때 MFL은 최적의 수렴 속도를 달성하며, γ를 0.95 이상으로 더 높일 경우 성능 저하 및 수렴 불안정성이 발생할 수 있다.
• τ < 100일 경우 집계 주기의 영향은 미미하지만, τ > 100일 경우 수렴 성능이 심각하게 악화되어 통신 비용과 성능 간의 상충 관계가 드러난다.
• 0 < γ < 1 범위에서 MFL의 최종 손실 값은 항상 FL보다 낮아 최적화 효율성이 향상됨을 확인하였다.
• 이론적 상한선는 주어진 가정 하에서 MFL이 전역 최적점으로 선형 수렴함을 보여주며, 조건 2(1−βη)cosθ / (βηp²) > 1 를 만족할 경우 수렴 속도가 가속됨을 나타낸다.
• 시뮬레이션 결과는 MFL이 전역 수렴을 유지하면서도, 특히 중간 수준의 τ와 최적의 γ 조건에서 FL 및 중심화된 MGD보다 수렴 속도에서 뛰어난 성능을 보임을 확인하였다.