[논문 리뷰] On Randomized Distributed Coordinate Descent with Quantized Updates

Mostafa El Gamal, Lifeng Lai|arXiv (Cornell University)|2016. 09. 18.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 3

한 줄 요약

이 논문은 유한 정밀도 통신 환경에서 볼록 최적화를 위한 랜덤화된 분산 좌표 강하 알고리즘의 양자화된 변종을 제안한다. 수렴을 보장하기 위해 양자화 오차의 크기에 대한 충분한 조건을 확립하며, 양자화 오차가 문제의 매개변수와 원하는 정밀도에 상대적으로 유한할 경우 수렴이 유지됨을 보여준다.

ABSTRACT

In this paper, we study the randomized distributed coordinate descent algorithm with quantized updates. In the literature, the iteration complexity of the randomized distributed coordinate descent algorithm has been characterized under the assumption that machines can exchange updates with an infinite precision. We consider a practical scenario in which the messages exchange occurs over channels with finite capacity, and hence the updates have to be quantized. We derive sufficient conditions on the quantization error such that the algorithm with quantized update still converge. We further verify our theoretical results by running an experiment, where we apply the algorithm with quantized updates to solve a linear regression problem.

연구 동기 및 목표

• 유한 용량의 통신 채널에서 분산 최적화 알고리즘의 수렴 분석에 대한 격차를 보완하기 위해.
• 제한된 채널 용량으로 인해 기울기 업데이트가 양자화될 경우 랜덤화된 좌표 강하가 여전히 수렴하는지 조사하기 위해.
• 최적 해로의 수렴을 유지하기 위한 양자화 오차에 대한 명시적 충분 조건을 유도하기 위해.
• 제어된 양자화 수준을 가진 선형 회귀 문제에서 이론적 결과를 실증적으로 검증하기 위해.

제안 방법

• 유한 용량의 채널을 통해 양자화된 메시지 교환을 하는 분산 환경에 맞게 랜덤화된 좌표 강하 알고리즘을 적응시켰다.
• 양자화 오차를 업데이트 방향에 대한 유한한 편향으로 모델링하며, 양자화 해상도는 Δ로 표기한다.
• 강한 볼록성과 리프시츠 스무쓰니스 매개변수(m 및 L) 및 조건수 g = L/m를 사용하여 수렴 속도의 상한을 유도한다.
• 양자화로 인한 오차 누적을 고려하기 위해 수렴 분석에 수정된 반복 수 k^q를 도입한다.
• 수렴 속도 상수 C_min = 1 - 1/(g²d)를 최소화하기 위해 최적 스텝 사이즈 t_opt = 1/(gLd)를 사용한다.
• ε 정밀도 이내로 수렴하기 위한 충분 조건으로 Δ ≤ (ερL²)/(2m) * (1/C_min - 1)을 유도한다.

실험 결과

연구 질문

• RQ1 유한 용량의 통신 채널로 인해 업데이트가 양자화될 경우, 랜덤화된 분산 좌표 강하가 어떤 조건에서 수렴하는가?
• RQ2 양자화 오차는 분산 좌표 강하 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 유한한 양자화 오차가 존재할 경우 알고리즘이 수렴을 유지할 수 있는가? 만약 가능하다면 허용 가능한 최대 오차는 얼마인가?
• RQ4 양자화 해상도, 문제 매개변수(L, m, d)와 수렴을 위한 반복 수 사이의 관계는 무엇인가?
• RQ5 양자화 오차는 알고리즘에 영향을 미쳐 불안정하게 만들 수 있는가, 아니면 수렴을 보장하기 위해 제어할 수 있는가?

주요 결과

• 양자화 오차 Δ가 (ερL²)/(2m) * (1/C_min - 1) 이하로 상한이 설정되어 있을 경우 알고리즘이 최적 해로 수렴한다. 여기서 ε는 원하는 정밀도이고 ρ는 신뢰 수준이다.
• 수렴을 위한 반복 수는 k^q = log(2||x₀ - x*||²/ερ)/log(1/C_min) + log(2||x₀ - x*||²)/log(1/(C_min + (ερ/2)(1 - C_min)))로 유계되며, 이는 양자화로 인한 오차를 고려한 것이다.
• Δ = 0일 경우(즉, 양자화가 없을 경우), 반복 수는 k = log(||x₀ - x*||²/ερ)/log(1/C_min)로 줄어들며, 이는 양자화 없이도 알려진 결과와 일치한다.
• 전력 발전소 데이터셋에 대한 실증 결과는 Δ = 10³일 경우 알고리즘이 수렴하지만, Δ = 10⁵일 경우 발산함을 보여주며, 이는 允許 오차에 대한 이론적 상한을 확인한다.
• 오차가 충분히 작을 경우 수렴은 양자화에 대해 강건하며, 양자화 오차는 알고리즘을 불안정하게 만들지 않으며 제어 가능하다.
• 유도된 수렴 조건는 오차가 유도된 임계값 이내일 경우, 수렴 속도가 여전히 선형을 유지함을 보장한다.