[논문 리뷰] Proximal and Federated Random Reshuffling

Konstantin Mishchenko, Ahmed Khaled외 1명|arXiv (Cornell University)|2021. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 매 에포크당 한 번의 프록시멀 연산자 평가로 더 빠른 수렴을 달성하기 위해 랜덤 리샘플링을 사용하는 ProxRR 및 FedRR라는 새로운 알고리즘을 제안한다. 이 방법들은 특히 프록시멀 연산자가 비용이 많이 드는 경우, Proximal SGD와 Local SGD를 능가하며, 이러한 경우 최대 n배의 계산 비용 절감을 이룬다.

ABSTRACT

Random Reshuffling (RR), also known as Stochastic Gradient Descent (SGD) without replacement, is a popular and theoretically grounded method for finite-sum minimization. We propose two new algorithms: Proximal and Federated Random Reshuffing (ProxRR and FedRR). The first algorithm, ProxRR, solves composite convex finite-sum minimization problems in which the objective is the sum of a (potentially non-smooth) convex regularizer and an average of $n$ smooth objectives. We obtain the second algorithm, FedRR, as a special case of ProxRR applied to a reformulation of distributed problems with either homogeneous or heterogeneous data. We study the algorithms' convergence properties with constant and decreasing stepsizes, and show that they have considerable advantages over Proximal and Local SGD. In particular, our methods have superior complexities and ProxRR evaluates the proximal operator once per epoch only. When the proximal operator is expensive to compute, this small difference makes ProxRR up to $n$ times faster than algorithms that evaluate the proximal operator in every iteration. We give examples of practical optimization tasks where the proximal operator is difficult to compute and ProxRR has a clear advantage. Finally, we corroborate our results with experiments on real data sets.

연구 동기 및 목표

• 매 반복마다 프록시멀 연산자를 평가하는 기존 프록시멀 및 분산 학습 방법의 비효율성을 해결하기 위해.
• 비미분 가능 정규화를 가진 복합 볼록 유한합 최소화 문제를 위한 새로운 알고리즘 ProxRR를 개발하기 위해.
• 재구성된 문제에 ProxRR를 적용하여 분산 최적화 문제로 확장함으로써, 동일한 데이터와 이질적 데이터 모두에 적합한 FedRR를 유도하기 위해.
• 매 에포크당 한 번의 프록시멀 연산자 평가가 프록시멀 연산자가 계산적으로 비용이 많이 드는 경우에 효율성을 크게 향상시킨다는 것을 입증하기 위해.
• 이론적 수렴 보장과 실제 데이터셋에서의 실험적 검증을 제공하기 위해.

제안 방법

• ProxRR는 매 에포크당 한 번의 프록시멀 연산자 평가를 통해 복합 볼록 유한합 문제를 해결한다.
• 알고리즘은 일정하거나 감소하는 스텝 사이즈를 사용하며, 프록시멀 연산자는 매 에포크의 끝에서만 적용하여 계산 오버헤드를 줄인다.
• FedRR는 클라이언트별 데이터를 가진 재구성된 분산 최적화 문제에 ProxRR를 적용한 특수한 경우로 유도된다.
• 재구성된 문제의 구조를 활용하여 동일한 데이터와 이질적 데이터 환경 모두에서 수렴 보장을 유지한다.
• 이론적 분석은 강볼록성과 미분 가능성 가정에 기반하며, 분산 감소와 재귀 부등식을 사용하여 수렴 경계를 유도한다.
• 실험은 실제 데이터셋(예: 'a1a', 'mushrooms')을 사용하며, 다양한 로컬 스텝 수와 스텝 사이즈 스케줄링 조건에서 FedRR와 Local SGD를 비교한다.

실험 결과

연구 질문

• RQ1 비미분 가능 정규화를 가진 프록시멀 유한합 최소화 문제에 랜덤 리샘플링을 효과적으로 확장할 수 있는가?
• RQ2 매 에포크당 한 번의 프록시멀 연산자 평가가 수렴 성능을 저하시키지 않으면서도 계산 비용 절감에 기여하는가?
• RQ3 프록시멀 학습에서 FedRR는 로컬 스텝 수가 많을 경우 Local SGD와 비교해 수렴 속도와 통신 효율성 측면에서 어떻게 성능을 냅니다?
• RQ4 강볼록성과 미분 가능성 가정 하에서 ProxRR 및 FedRR의 이론적 수렴 속도는 어떠한가?
• RQ5 프록시멀 평가 빈도를 줄임으로써 실용적인 최적화 과제에서 명확한 이점이 나타나는 경우는 언제인가?

주요 결과

• 프록시멀 연산자를 매 에포크당 한 번 평가함으로써 ProxRR는 O(1/T)의 수렴 속도를 달성하며, 프록시멀 연산자가 비용이 많이 드는 경우 계산 비용을 크게 절감한다.
• FedRR는 동일한 효율성과 수렴 성질을 이어받아 동일한 데이터와 이질적 데이터 모두에 적합한 분산 학습에 유용하다.
• 실험 결과, 특히 로컬 스텝 수가 많을 경우 FedRR는 Local SGD보다 더 빠르게 수렴하며, 스텝 사이즈 선택에 대해 더 뛰어난 내성성을 보였다.
• 특히 'mushrooms'와 같은 실제 데이터셋에서, 통신 라운드 수와 데이터 통과 횟수 측면에서 Proximal SGD와 Local SGD를 모두 능가했다.
• 이론적 분석을 통해 FedRR는 강볼록 조건 하에서 선형 수렴을 유지하며, 오차 경계는 조건수와 데이터 분산에 따라 달라진다.
• ℓ1 + ℓ2 정규화의 프록시멀 연산자는 소프트 스레셔딩을 통해 효율적으로 계산되며, 이는 ProxRR의 실용적 구현 가능성을 높인다.