[논문 리뷰] Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning

Philippenko, Constantin, Aymeric Dieuleveut|arXiv (Cornell University)|2023. 08. 02.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 102

한 줄 요약

이 논문은 분산 최소 제곱 회귀에서 비편향 압축의 정교한 분석을 제공하며, 동일한 분산 경계를 가진 압축 기법이 규칙성과 좌표 상관관계의 차이로 인해 서로 다른 수렴 속도를 보일 수 있음을 보여준다. 수렴은 추가 노이즈의 한계 공분산에 의존하며, 이는 고전적 수렴 속도를 일반화하고, 리프레젠테이션의 Lipschitz 연속성 부족에도 불구하고 양자화 기법이 투영 기반 방법과 점차적으로 유사한 성능을 달성함을 드러낸다.

ABSTRACT

In this paper, we investigate the impact of compression on stochastic gradient algorithms for machine learning, a technique widely used in distributed and federated learning. We underline differences in terms of convergence rates between several unbiased compression operators, that all satisfy the same condition on their variance, thus going beyond the classical worst-case analysis. To do so, we focus on the case of least-squares regression (LSR) and analyze a general stochastic approximation algorithm for minimizing quadratic functions relying on a random field. We consider weak assumptions on the random field, tailored to the analysis (specifically, expected Hölder regularity), and on the noise covariance, enabling the analysis of various randomizing mechanisms, including compression. We then extend our results to the case of federated learning. More formally, we highlight the impact on the convergence of the covariance $\mathfrak{C}_{\mathrm{ania}}$ of the additive noise induced by the algorithm. We demonstrate despite the non-regularity of the stochastic field, that the limit variance term scales with $\mathrm{Tr}(\mathfrak{C}_{\mathrm{ania}} H^{-1})/K$ (where $H$ is the Hessian of the optimization problem and $K$ the number of iterations) generalizing the rate for the vanilla LSR case where it is $σ^2 \mathrm{Tr}(H H^{-1}) / K = σ^2 d / K$ (Bach and Moulines, 2013). Then, we analyze the dependency of $\mathfrak{C}_{\mathrm{ania}}$ on the compression strategy and ultimately its impact on convergence, first in the centralized case, then in two heterogeneous FL frameworks.

연구 동기 및 목표

• 서로 다른 비편향 압축 연산자들이 동일한 분산 경계를 공유함에도 불구하고 분산 학습에서 수렴 속도가 어떻게 다를 수 있는지 이해하기 위해.
• 압축기 규칙성(예: 리프레젠테이션 vs. 헬더 연속성)과 좌표 상관관계가 수렴 행동에 미치는 영향을 분석하기 위해.
• 비.i.i.d. 클라이언트 데이터와 메모리 기반 최적화를 고려한 이질적 페더레이티드 학습 환경으로 분석을 확장하기 위해.
• 압축에 의해 유도된 추가 노이즈의 한계 공분산에 따라 의존하는 점 渐진 수렴 속도를 유도하기 위해.
• 동일한 분산 가정을 가진 압축기 간의 차이를 구분함으로써 최악의 경우 분석을 넘어서는 정교한 이론적 프레임워크를 제공하기 위해.

제안 방법

• 약한 규칙성 가정(기대 헬더 연속성)을 가진 무작위 장을 사용하여 이차 함수를 최소화하기 위한 일반적인 확률적 근사 알고리즘을 분석한다.
• 점근적 수렴을 지배하는 한계 노이즈 공분산 행렬 $ C^\infty_{\text{ania}} = \lim_{k \to \infty} \mathbb{E}[\xi^{\text{add}}_k \otimes \xi^{\text{add}}_k] $ 을 도입한다.
• 감소하는 스텝 사이즈 하에서 수렴을 증명하기 위해 매개변수 거리와 메모리 항 편차를 조합한 리아푸노프 함수를 사용한다.
• 조건부 중심극한정리 적용으로 $ \sqrt{K} \eta_K \to \mathcal{N}(0, H_F^{-1} C^\infty_{\text{ania}} H_F^{-1}) $ 를 도출하여 수렴을 노이즈 공분산과 연결한다.
• 유한한 분산 증가량 $ \omega $ 를 가진 비편향 연산자로 압축을 모델링하고, 이들이 $ C^\infty_{\text{ania}} $ 에 미치는 영향을 분석한다.
• 두 가지 페더레이티드 학습 프레임워크를 고려한다: (1) 메모리가 있는 경우와 (2) 메모리가 없는 경우로, 클라이언트 이질성과 개념 이동을 고려한다.

실험 결과

연구 질문

• RQ1 동일한 분산 경계를 가진 압축 기법들이 수렴 행동에서 어떻게 다를 수 있는가?
• RQ2 압축기 규칙성(예: 리프레젠테이션 vs. 헬더 연속성)이 수렴 속도를 결정하는 데 어떤 역할을 하는가?
• RQ3 압축된 좌표 간의 상관관계 구조가 분산 최소 제곱 회귀에서 수렴에 어떻게 영향을 미치는가?
• RQ4 한계 노이즈 공분산 $ C^\infty_{\text{ania}} $ 는 압축 전략과 클라이언트 이질성에 따라 어떻게 달라지는가?
• RQ5 메모리 기반 방법은 표준 압축 알고리즘에 비해 이질성의 영향을 줄이고 수렴을 향상시킬 수 있는가?

주요 결과

• 점 渐진 수렴 속도는 $ \text{Tr}(C^\infty_{\text{ania}} H_F^{-1}) / K $ 에 의해 지배되며, 이는 고전적 최소 제곱 회귀의 $ \sigma^2 d / K $ 수렴 속도를 일반화한다.
• 리프레젠테이션의 제곱 기대에서 리프레젠테이션 연속성이 없음에도 불구하고, 유사한 한계 노이즈 공분산 덕분에 양자화 기반 압축기들이 투영 기반 압축기들과 점차적으로 유사한 수렴 속도를 달성한다.
• 확률 $ h/d $ 로 부분 참여하는 경우와 Rand-h 압축은 동일한 분산 조건을 만족하지만, 불안정한 문제에서는 더 강건한 수렴을 보인다.
• 특성들이 표준화된 경우, 양자화는 스퍼지피케이션과 무작위 좌표 선택보다 우수하다; 그러나 특성들이 독립적이고 정규화된 경우, 양자화는 이러한 대안들보다 열 劣하다.
• 클라이언트 이질성과 개념 이동이 존재하는 상황에서, 메모리 기반 방법은 효과적 노이즈 공분산 $ C^\infty_{\text{ania}} $ 를 감소시켜 비-메모리 변종에 비해 향상된 수렴을 이끈다.
• 한계 노이즈 공분산 $ C^\infty_{\text{ania}} $ 는 $ C((C_i, p_{\Theta'_i})_{i=1}^N) $ 로 명시적으로 특성화되며, 여기서 $ p_{\Theta'_i} $ 는 기울기 편차 $ g^*_{k,i} - \nabla F_i(w^*) $ 의 분포이다.