[논문 리뷰] On the Outsized Importance of Learning Rates in Local Update Methods

Zachary Charles, Jakub Konečný|arXiv (Cornell University)|2020. 07. 02.

Stochastic Gradient Optimization Techniques참고 문헌 60인용 수 20

한 줄 요약

이 논문은 로컬 업데이트 방법인 FedAvg가 2차 설정에서 보조 손실 함수에 대한 확률적 경사 하강법을 수행함을 규명하며, 클라이언트 학습률이 보조 손실의 조건 수와 진짜 손실과의 일치도 사이의 균형을 결정짓는다는 점을 밝혀낸다. 저자들은 이러한 균형을 수식적으로 분석하고 수렴 속도를 도출하며, 커뮤니케이션 제한 환경에서 성능을 향상시키면서도 튜닝 부담을 줄일 수 있는 실용적인 자동 학습률 감소 전략을 제안한다.

ABSTRACT

We study a family of algorithms, which we refer to as local update methods, that generalize many federated learning and meta-learning algorithms. We prove that for quadratic objectives, local update methods perform stochastic gradient descent on a surrogate loss function which we exactly characterize. We show that the choice of client learning rate controls the condition number of that surrogate loss, as well as the distance between the minimizers of the surrogate and true loss functions. We use this theory to derive novel convergence rates for federated averaging that showcase this trade-off between the condition number of the surrogate loss and its alignment with the true loss function. We validate our results empirically, showing that in communication-limited settings, proper learning rate tuning is often sufficient to reach near-optimal behavior. We also present a practical method for automatic learning rate decay in local update methods that helps reduce the need for learning rate tuning, and highlight its empirical performance on a variety of tasks and datasets.

연구 동기 및 목표

• 로컬 업데이트 방법(예: FedAvg, MAML)이 약한 이론적 보장에도 불구하고 실무에서 미니배치 SGD보다 뛰어난 성능을 보이는 이유를 이해하기 위해.
• 이차 목표 함수를 중심으로 이질적인 데이터 설정에서 로컬 업데이트 방법의 행동을 분석함으로써, 다루기 쉬우면서도 통찰력 있는 사례를 제공하기 위해.
• 로컬 업데이트 방법이 암묵적으로 최적화하는 보조 손실 함수를 특성화하고, 알고리즘 선택(특히 학습률)이 수렴과 해 품질에 어떻게 영향을 주는지 규명하기 위해.
• 튜닝 부담을 줄이고 커뮤니케이션 제한 환경에서의 성능을 향상시키기 위해, 분리된 학습률과 자동 학습률 감소 전략과 같은 실용적 개선을 개발하기 위해.

제안 방법

• 이론적 분석을 통해 이차 목표 함수에 대한 로컬 업데이트 방법이 정의된 보조 손실 함수에 대한 확률적 경사 하강법과 동치임을 보이며, 이 보조 손실 함수는 진짜 손실과 클라이언트 데이터 분포를 정확히 기반으로 기술됨을 밝혀냄.
• 보조 손실의 명시적 표현을 유도하며, 클라이언트 학습률이 이 보조 손실의 조건 수와 진짜 손실 최소화점과의 거리 모두를 제어함을 보여냄.
• FedAvg의 수렴 속도를 도출하며, 조건 수 감소(수렴에 유리)와 진짜 해에서의 이격도 증가(일반화에 악영향) 사이의 균형을 명시적으로 기록함.
• 실용적인 자동 학습률 감소 방법을 제안하며, 로컬 진전에 따라 클라이언트 학습률을 적응적으로 감소시켜 수동 하이퍼파rameter 튜닝 의존도를 낮춤.
• 다양한 데이터셋(CIFAR-100, FEMNIST, Shakespeare, Stack Overflow)을 대상으로 볼록 및 비볼록 과제에서 수동 튜닝과 적응적 학습률 스케줄을 비교한 실험적 검증 수행.
• 클라이언트 학습률과 서버 학습률의 영향을 분리하기 위해 아블레이션 스터디를 수행하며, 과제에 따라 최적의 구성 조합을 규명함.

실험 결과

연구 질문

• RQ1 로컬 업데이트 방법에서 클라이언트 학습률의 선택이 보조 손실의 조건 수와 일치도에 어떻게 영향을 미치는가?
• RQ2 로컬 업데이트 방법(예: FedAvg)이 이론적 제약에도 불구하고 실무에서 왜 미니배치 SGD보다 뛰어난 성능을 보이는가?
• RQ3 이차 케이스에서 로컬 업데이트 방법이 최적화하는 보조 손실을 공식적으로 특성화할 수 있는가?
• RQ4 이러한 방법에서 조건 수를 통한 수렴 속도와 진짜 손실과의 일치도를 통한 해 품질 사이의 균형은 무엇인가?
• RQ5 자동 학습률 감소가 수동 튜닝의 필요성을 줄이고 피어드러닝 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 이차 케이스에서 로컬 업데이트 방법이 최적화하는 보조 손실 함수의 조건 수는 클라이언트 학습률에 의해 제어되며, 더 작은 학습률은 조건 수를 감소시켜 수렴 속도를 향상시킴.
• 균형이 존재함: 더 작은 클라이언트 학습률을 통해 조건 수를 감소시켜 수렴 속도를 높이지만, 이는 보조 손실 최소화점과 진짜 손실 최소화점 사이의 거리를 증가시킴.
• FedAvg의 명시적 수렴 속도를 유도하며, 성능이 조건 수와 일치도의 균형에 따라 달라지며, 적절한 학습률 튜닝을 통해 최적 성능를 달성할 수 있음.
• 실험 결과는 커뮤니케이션 제한 환경에서 클라이언트 학습률 튜닝만으로도 다른 하이퍼파rameter 조정 없이도 근사 최적 성능를 달성할 수 있음을 보여줌.
• 제안된 자동 학습률 감소 방법은 수동 튜닝의 필요성을 크게 줄이며, RNN 및 CNN과 같은 비볼록 모델을 포함한 다양한 과제에서 수렴을 향상시킴.
• 최적의 서버 학습률은 클라이언트 학습률에 매우 의존적이며, 과제에 따라 최적의 구성이 달라지므로 클라이언트 및 서버 학습률을 분리하는 것이 성능 향상에 필수적임.