[논문 리뷰] Communication-Efficient Distributed Optimization with Quantized Preconditioners

Foivos Alimisis, Peter Maxwell Davies외 1명|arXiv (Cornell University)|2021. 02. 14.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 일반선형모형(Genearalized Linear Models, GLM)을 위한 양자화된 조정행렬을 사용하는 통신 효율적인 분산 최적화 알고리즘(QPGD-GLM)과 분산 뉴턴 방법(QNewton)을 제안하며, 조건수 𝜅에 대해 비선형적 의존성을 달성한다. 양자화된 조정행렬과 내림방향을 동시에 양자화하면서 수렴성을 유지함으로써, 통신 복잡도는 각각 𝒪(ndκₗ log(nκₗκ(M)) log(γD/𝜖)) 및 𝒪(nd² log(√d𝜅) log(γ𝜇/𝜎𝜖))로 감소하여 이전의 𝜅에 대한 선형 의존성을 깨뜨린다.

ABSTRACT

We investigate fast and communication-efficient algorithms for the classic problem of minimizing a sum of strongly convex and smooth functions that are distributed among $n$ different nodes, which can communicate using a limited number of bits. Most previous communication-efficient approaches for this problem are limited to first-order optimization, and therefore have \\emph{linear} dependence on the condition number in their communication complexity. We show that this dependence is not inherent: communication-efficient methods can in fact have sublinear dependence on the condition number. For this, we design and analyze the first communication-efficient distributed variants of preconditioned gradient descent for Generalized Linear Models, and for Newton's method. Our results rely on a new technique for quantizing both the preconditioner and the descent direction at each step of the algorithms, while controlling their convergence rate. We also validate our findings experimentally, showing fast convergence and reduced communication.

연구 동기 및 목표

• 제한된 비트 통신 조건 하에서 대규모 머신러닝을 위한 분산 최적화의 통신 효율성을 해결한다.
• 기존의 1차 방법에서 조건수 𝜅에 대한 선형 의존성을 극복하기 위해 2차 정보를 활용한다.
• 양자화를 유지하면서도 빠른 수렴성을 보장하는 조정행렬 기반 경사하강법 및 뉴턴 방법의 통신 효율적인 변형을 설계한다.
• 조정행렬과 내림방향의 양자화를 동시에 제어하는 새로운 양자화 기법을 개발하여 수렴 속도를 유지한다.
• 이론적 및 실험적으로 통신 복잡도가 조건수 𝜅에 대해 비선형적 의존성을 가지며, 이는 이전의 가정을 도전한다.

제안 방법

• 일반선형모형을 위한 통신 효율적인 조정행렬 기반 경사하강법(QPGD-GLM)을 제안하며, 양자화된 조정행렬과 내림방향을 사용한다.
• 조정행렬 행렬과 탐색 방향에 대한 공동 양자화 방식을 도입하여 반복 과정에서 오차 증가를 제한한다.
• 부드러움과 강한 볼록성 파라미터를 사용하여 양자화 하중에서 조정행렬 및 기울기 추정치의 오차를 경계함으로써 수렴성을 분석한다.
• 지역 헤시안 행렬과 그 평균을 양자화하는 분산 뉴턴 방법(QNewton)을 설계하여 저통신 2차 최적화를 가능하게 한다.
• 노드들이 중앙 조정자에게 양자화된 업데이트를 전송하는 파라미터 서버 모델을 사용하여 총 비트 전송량을 최소화한다.
• 반복 과정에서 조정행렬, 헤시안 행렬, 내림방향을 양자화하고 전송하기 위해 필요한 비트 수를 분석하여 통신 복잡도의 경계를 설정한다.

실험 결과

연구 질문

• RQ1 분산 환경에서 2차 방법이 조건수 𝜅에 대해 비선형적 의존성을 가지며 통신 효율성을 달성할 수 있는가?
• RQ2 조정행렬과 내림방향을 동시에 양자화해도 수렴 속도가 저하되지 않을 수 있는가?
• RQ3 비트 제약 조건 하에서 조정 또는 뉴턴 단계를 사용할 경우, 분산 최적화의 최적 통신 복잡도는 무엇인가?
• RQ4 2차 정보와 양자화를 활용하여 이론적 하한 Ω(nd log(d/𝜖))을 달성하거나 향상시킬 수 있는가?
• RQ5 양자화된 조정행렬은 통신 제약 조건 하에서 조건수가 나쁜 문제에서 1차 방법보다 더 빠른 수렴을 가능하게 하는가?

주요 결과

• 제안된 QPGD-GLM 알고리즘은 총 통신 비용이 𝒪(ndκₗ log(nκₗκ(M)) log(γD/𝜖))이며, 조건수 𝜅에 대해 비선형적 의존성을 보인다.
• 분산 뉴턴 방법(QNewton)은 통신 비용이 𝒪(nd² log(√d𝜅) log(γ𝜇/𝜎𝜖))로 나타나, 2차 방법이 통신 효율적일 수 있음을 보여준다.
• QPGD-GLM의 통신 복잡도는 손실 함수 ℓ의 조건수 𝜅ₗ에 의존하며, 이는 종종 전체 문제의 조건수 𝜅보다 훨씬 작다.
• 조건수가 나쁘지만 차원이 낮은 문제에서는 QNewton이 2차 곡률 정보를 통해 통신 비용을 줄여 유리한 트레이드오프를 제공한다.
• 결과적으로 조건수 𝜅에 대한 선형 의존성은 통신 복잡도에 필수적인 것은 아니며, 이는 1차 방법이 비트 제약 조건 하에서 최적일 것이라는 가정을 도전한다.
• 실험적 검증을 통해 빠른 수렴과 통신 감소를 확인하여 이론적 주장의 효율성 향상을 뒷받침한다.