[논문 리뷰] Distributed Fixed Point Methods with Compressed Iterates

Sélim Chraibi, Ahmed Khaled외 4명|arXiv (Cornell University)|2019. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 분산 고정점 방법에서 압축된 반복값을 사용하는 최초의 방법을 제안하며, 페더레이티드 러닝 및 대규모 최적화에서 통신 효율적인 훈련을 가능하게 한다. 표준 및 분산 감소 알고리즘을 제안하여, 표준 가정 하에 압축된 반복값을 사용함에도 불구하고 선형 수렴를 달성하며, 통신 효율성을 크게 향상시키면서도 수렴 보장을 유지한다.

ABSTRACT

We propose basic and natural assumptions under which iterative optimization methods with compressed iterates can be analyzed. This problem is motivated by the practice of federated learning, where a large model stored in the cloud is compressed before it is sent to a mobile device, which then proceeds with training based on local data. We develop standard and variance reduced methods, and establish communication complexity bounds. Our algorithms are the first distributed methods with compressed iterates, and the first fixed point methods with compressed iterates.

연구 동기 및 목표

• 대규모 머신 러닝, 특히 페더레이티드 러닝 환경에서의 통신 및 메모리 병목 현상을 해결하기 위해.
• 단지 기울기뿐 아니라 반복값 자체를 압축하는 반복 최적화 방법을 개발하여 메모리 및 대역폭 절약을 가능하게 하기 위해.
• 중앙집중식 및 분산 고정점 방법에 대해 압축된 반복값을 사용하는 비점근 수렴 속도를 수립하기 위해.
• 압축에 의해 유도되는 분산을 제거하기 위한 새로운 분산 감소 알고리즘 프레임워크를 제안하기 위해.
• 기존의 압축된 반복값을 사용하는 경사하강법을 더 넓은 고정점 반복 및 분산 환경으로 일반화하기 위해.

제안 방법

• 각 노드가 국소 연산자를 계산하고 압축된 반복값을 교환하는 중심집중형 분산 고정점 프레임워크를 제안한다.
• 압축에 의해 발생하는 편향을 보정하기 위해 보조 변수를 유지하는 분산 감소 알고리즘(알고리즘 4)을 도입한다.
• 제약 조건 3를 만족하는 압축 연산자를 사용하며, 이는 양자화 및 희소화를 포함하고 상대 오차가 유한함을 보장한다.
• 표준 가정 하에 선형 수렴를 증명하기 위해 리아푸노프 함수를 사용한다.
• 표준 및 분산 감소 알고리즘에 대해 수렴 속도를 유도하며, 압축 품질과 문제 조건에 명시적인 의존성을 포함한다.
• 프레임워크를 분산 경사하강법 및 경사하강-상승법에 적용하여, 양쪽 모두에 대해 선형 수렴를 입증한다.

실험 결과

연구 질문

• RQ1 압축된 반복값을 사용하는 고정점 방법이 분산 환경에서 선형 수렴를 달성할 수 있는가?
• RQ2 반복값 압축은 수렴에 어떤 영향을 미치며, 유도된 분산은 제거될 수 있는가?
• RQ3 압축된 반복값을 사용하는 분산 고정점 방법의 통신 복잡도 상한은 무엇인가?
• RQ4 제안된 프레임워크는 확률적 및 비볼록 최적화 문제에 일반화될 수 있는가?
• RQ5 실제로 분산 감소 방법은 표준 압축된 반복값 방법보다 어떻게 비교되는가?

주요 결과

• 분산 감소 알고리즘(알고리즘 4)은 압축 품질과 스텝 사이즈 파라미터에 따라 의존하는 선형 수렴 속도를 달성한다.
• 분산 감소 방법의 수렴 속도는 표준 방법이 앓는 분산 항과 무관하며, $\mathbb{E}[\Psi^k] \leq (1 - \frac{\min\{\alpha, \eta\rho\}}{2})^k \mathbb{E}[\Psi^0] + \frac{2\eta B}{\min\{\alpha, \eta\rho\}}$ 형태의 경계를 달성한다.
• B=0 인 경우, 알고리즘이 선형으로 수렴하므로, 제안된 프레임워크 하에서 압축에 의한 분산을 완전히 제거할 수 있음을 나타낸다.
• 이 방법은 분산 경사하강법 및 경사하강-상승법으로 일반화되며, 양쪽 모두에 대해 선형 수렴가 보장된다.
• 수치 실험 결과, 압축된 반복값을 사용하는 분산 감소 방법이 수렴 속도 측면에서 표준 경사하강법 및 압축된 반복값 GD를 능가함을 보였다.
• 알고리즘은 수렴성을 유지하면서도 통신 비용을 줄여, 페더레이티드 러닝과 같은 메모리 제약 및 통신 제약이 있는 환경에 적합하다.