[논문 리뷰] Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning

Zachary Charles, Jakub Konečný|arXiv (Cornell University)|2021. 03. 08.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 페더레이티드 및 메타러닝에서 국소 업데이트 방법을 분석하는 이론적 프레임워크를 제안하며, 학습률과 모멘타임과 같은 하이퍼파라미터에 의해 조절되는 조작 손실의 조건수와 진짜 손실에 대한 정렬이 제어됨을 보여준다. 주요 기여는 수렴 속도와 최종 모델 정확도 사이의 상호보완적 관계를 분석함으로써 알고리즘 간 공정한 비교를 가능하게 하는 파레토 경계를 제공하는 것으로, 서버 모멘타임의 이점이나 프록시 업데이트와 같은 현상을 설명한다.

ABSTRACT

We study a family of algorithms, which we refer to as local update methods, generalizing many federated and meta-learning algorithms. We prove that for quadratic models, local update methods are equivalent to first-order optimization on a surrogate loss we exactly characterize. Moreover, fundamental algorithmic choices (such as learning rates) explicitly govern a trade-off between the condition number of the surrogate loss and its alignment with the true loss. We derive novel convergence rates showcasing these trade-offs and highlight their importance in communication-limited settings. Using these insights, we are able to compare local update methods based on their convergence/accuracy trade-off, not just their convergence to critical points of the empirical loss. Our results shed new light on a broad range of phenomena, including the efficacy of server momentum in federated learning and the impact of proximal client updates.

연구 동기 및 목표

• 국소 업데이트 방법이 이론적으로 열등해 보이지만 실제로는 중심화된 SGD보다 성능이 뛰어나는 이유를 이해하기 위해.
• 일반적으로 다른 하이퍼파라미터나 가정을 사용하기 때문에 국소 업데이트 방법을 비교하는 데 어려움이 있음을 해결하기 위해.
• 학습률과 모멘타임과 같은 알고리즘 선택에 의해 제어되는, 수렴 속도와 최종 모델 정확도 사이의 상호보완적 관계를 체계화하기 위해.
• 수렴-정확도 상호보완적 관계 전체를 평가하는 것이 아니라 최적점 수렴에만 초점을 맞춘 기존 방법과는 달리, 전체 수렴-정확도 관계를 기반으로 한 새로운 비교 프레임워크를 개발하기 위해.
• 비볼록 과제에서 이론적 통찰을 검증하여, 이 상호보완적 관계가 이차 모델을 넘어서도 유지됨을 보여주기 위해.

제안 방법

• 이차 모델에 대해 이론적 분석을 통해 국소 업데이트 방법이 조작 손실 함수에 대한 1차 최적화와 동치임을 보여준다.
• 조작 손실이 명시적으로 기술되며, 그 조건수와 진짜 손실에 대한 정렬은 클라이언트 학습률과 모멘타임과 같은 알고리즘 하이퍼파라미터에 의해 제어된다.
• 최적화 동역학의 맥락에서 평균 절대편차를 분석하기 위해 빼다-데이비스 부등식의 새로운 유사체를 유도한다.
• 이 프레임워크는 알고리즘의 전체 수렴-정확도 상호보완적 관계를 기반으로 국소 업데이트 방법을 비교하기 위해 파레토 경계를 도입한다.
• 비볼록 과제(FEMNIST, CIFAR-100, Shakespeare)에서 실증적 검증을 수행하여 서버 및 클라이언트 학습률을 조정하여 학습 손실과 정확도 사이의 상호보완적 관계를 관찰한다.
• 서버 모멘타임과 프록시 업데이트의 영향을 분석하기 위해 파라미터를 다양하게 조정하고 수렴 행동 및 최종 성능을 측정한다.

실험 결과

연구 질문

• RQ1 학습률과 모멘타임과 같은 알고리즘 선택이 국소 업데이트 방법에서 수렴 속도와 최종 정확도 사이의 상호보완적 관계에 어떻게 영향을 미치는가?
• RQ2 이론적으로 수렴 속도가 열등해 보이지만 실생활에서 FedAvg와 MAML 같은 국소 업데이트 방법이 중심화된 SGD보다 뛰어나게 성능을 내는 이유는 무엇인가?
• RQ3 하이퍼파라미터 선택(예: 클라이언트 학습률, 모멘타임)이 알고리즘이 빠르게 최적해가 아닌 해에 수렴하는지, 또는 느리게 더 나은 해에 수렴하는지에 얼마나 큰 영향을 미치는가?
• RQ4 수렴-정확도 상호보완적 관계 전체를 평가함으로써 다양한 국소 업데이트 방법을 공정하게 비교할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ5 이차 모델에서 관찰된 수렴-정확도 상호보완적 관계가 이미지 분류나 언어 모델링과 같은 비볼록 환경에서도 나타나는가?

주요 결과

• 이차 모델에서는 국소 업데이트 방법이 조작 손실에 대한 1차 최적화와 동치이며, 이 조작 손실의 조건수와 진짜 손실에 대한 정렬이 하이퍼파라미터에 의해 명시적으로 제어된다.
• 수렴 속도와 최종 정확도 사이의 상호보완적 관계는 근본적인 것으로, 높은 클라이언트 학습률은 수렴 속도를 향상시키지만 최종 정확도를 저하시킨다.
• 서버 모멘타임(특히 헤비볼 모멘타임)은 정확도를 떨어뜨리지 않고도 수렴 속도를 향상시키며, 일부 경우에서 FedAvg에 헤비볼 모멘타임을 적용할 경우 상호보완적 관계가 대칭적으로 나타난다.
• 프록시 업데이트는 조작 손실의 조건수를 낮추지만 진짜 손실과의 정렬을 악화시켜 수렴-정확도 상호보완적 관계에 영향을 준다.
• 비볼록 과제(FEMNIST, CIFAR-100, Shakespeare)에서의 실증 결과는 클라이언트 학습률 선택이 수렴 속도와 최종 학습 손실 사이에 명확한 상호보완적 관계를 이끌어내며, 이론적 프레임워크의 타당성을 검증한다.
• 서버 학습률 조정은 최적의 수렴 속도를 달성하는 데 매우 중요하며, 이를 제대로 하지 못하면 알고리즘 간 비교가 잘못될 수 있다.