[논문 리뷰] Linear Convergent Decentralized Optimization with Compression

Xiaorui Liu, Yao Li외 3명|arXiv (Cornell University)|2020. 07. 01.

Distributed Control Multi-Agent Systems참고 문헌 36인용 수 12

한 줄 요약

이 논문은 통신 압축을 갖춘 선형 수렴하는 분산 최적화 알고리즘인 LEAD를 제안한다. 이 알고리즘은 원본-이중 업데이트를 활용해 이질적 데이터와 압축 오차를 처리하며, 강凸 함수에 대해 일정 단계 크기로 선형 수렴을 달성하고, 확률적 경사하강법을 사용할 경우 O(σ²) 이웃으로 선형 수렴한다. 이는 이론과 실무에서 이전 방법들을 능가한다.

ABSTRACT

Communication compression has become a key strategy to speed up distributed optimization. However, existing decentralized algorithms with compression mainly focus on compressing DGD-type algorithms. They are unsatisfactory in terms of convergence rate, stability, and the capability to handle heterogeneous data. Motivated by primal-dual algorithms, this paper proposes the first \underline{L}in\underline{EA}r convergent \underline{D}ecentralized algorithm with compression, LEAD. Our theory describes the coupled dynamics of the inexact primal and dual update as well as compression error, and we provide the first consensus error bound in such settings without assuming bounded gradients. Experiments on convex problems validate our theoretical analysis, and empirical study on deep neural nets shows that LEAD is applicable to non-convex problems.

연구 동기 및 목표

• 데이터 이질성 하에서 통신 압축이 적용된 선형 수렴하는 분산 최적화 알고리즘의 부족을 해결하기 위해.
• 비-iid 데이터 환경에서 기존 DGD 유형의 압축 알고리즘이 느린 수렴과 불안정성을 보이는 문제를 해결하기 위해.
• 압축 오차와 공감 동역학을 동시에 관리하는 원본-이중 프레임워크를 설계하기 위해.
• 임의 정밀도의 비편향 압축과 일반적인 네트워크 구조에 대해 수렴 보장을 수립하기 위해.
• 비볼록 문제와 딥 네URAL 네트워크에서의 실험적 검증을 통해 알고리즘의 강건성과 효율성을 입증하기 위해.

제안 방법

• LEAD는 네트워크를 통해 분산적으로 원본 변수(x)와 이중 변수(d)를 업데이트하는 원본-이중 업데이트 방식을 사용한다.
• 원본 변수에 압축 연산자를 적용하고 오차 보상 기법을 통해 통신 비용을 절감한다.
• 수렴 분석을 위해 리아푸노프 함수를 사용하여 원본의 비정확성, 이중 업데이트, 압축 오차의 결합된 동역학을 모델링한다.
• 강凸 함수 및 매끄러운 함수에 대해 선형 수렴을 보장하기 위해 (0, 2/(μ+L)] 범위의 일정 단계 크기를 사용한다.
• 확률적 경사하강법을 사용할 경우, 일정 단계 크기로 최적해의 O(σ²) 이웃으로 선형 수렴을 달성하며, 점차 감소하는 단계 크기를 사용하면 정확한 수렴을 달성한다.
• 수렴 분석을 통해 기울기가 유계라는 가정 없이도, 혼합 행렬 W의 스펙트럼 성질에 기반한 공감 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 통신 압축이 적용된 분산 원본-이중 알고리즘이 일정 단계 크기로 선형 수렴을 달성할 수 있는가?
• RQ2 압축 오차가 분산 최적화에서 공감과 원본의 비정확성과 어떻게 상호작용하는가?
• RQ3 임의 정밀도의 비편향 압축과 이질적 데이터 하에서도 알고리즘이 선형 수렴을 유지할 수 있는가?
• RQ4 기울기가 유계라는 가정 없이, 압축과 비정확한 업데이트가 존재할 경우 공감 오차의 이론적 한계는 무엇인가?
• RQ5 제안된 알고리즘은 딥 네URAL 네트워크 학습과 같은 비볼록 문제에 효과적인가?

주요 결과

• LEAD는 강凸 함수 및 매끄러운 목표 함수에 대해 일정 단계 크기로 선형 수렴하는 첫 번째 분산 알고리즘으로, 통신 압축을 지원한다.
• 확률적 경사하강법을 사용할 경우 일정 단계 크기로 최적해의 O(σ²) 이웃으로 선형 수렴을 증명할 수 있다.
• 점차 감소하는 단계 크기를 사용하면, 압축이 존재하더라도 정확한 최적해로의 수렴을 달성한다.
• 기울기가 유계라는 가정 없이도 선형 수렴을 유지하며, 이러한 설정에서 새로운 공감 오차 한계를 제공한다.
• 실험 결과, LEAD는 이질적 데이터에서 딥 네URAL 네트워크 학습에서 베이스라인보다 뛰어난 성능을 보이며, 통신 및 계산 효율성이 뛰어나다.
• LEAD는 하이퍼파ram터 설정에 대해 강건하며, 최소한의 튜닝으로도 높은 실용적 적용 가능성을 보여준다.