[논문 리뷰] Communication-Efficient Algorithms for Decentralized Optimization Over Directed Graphs.

Yiyue Chen, Abolfazl Hashemi외 1명|arXiv (Cornell University)|2020. 05. 27.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 시간에 따라 변화하는 방향성 그래프 위에서 분산 최적화를 위한 통신 효율적이고 스퍼스피케이션 기반 알고리즘을 제안한다. 여기서 노드들은 국소적인 볼록 함수의 합을 최소화한다. 압축에도 불구하고 열-스토哈스틱성을 유지하기 위해 국소적으로 혼합 행렬을 조정함으로써, 최적화에 대해 O(ln T / √T) 수렴 속도와 평균 공감에 대해 기하급수적 수렴 속도를 달성한다. 이는 스퍼스피케이션을 적용한 방향성 그래프에 대해 처음으로 이러한 성능를 보이는 알고리즘이다.

ABSTRACT

We study the problem of decentralized optimization over a time-varying directed network whose nodes have access only to their local convex cost functions; the goal of the network is to collectively minimize the sum of the functions. To reduce the communication cost rendered high by large dimensionality of the model parameters, the nodes sparsify their updates before communicating them to their neighbours. We propose communication-efficient algorithms for both average consensus and decentralized optimization problems. Our schemes build upon the observation that compressing the messages via sparsification implicitly alters column-stochasticity of the mixing matrices of the directed network, a property that plays an important role in establishing convergence results for decentralized learning tasks. We show that by locally modifying the mixing matrices the proposed algorithms achieve $O(\frac{\mathrm{ln}T}{\sqrt{T}})$ convergence rate for decentralized optimization, and a geometric convergence rate for the average consensus problems, respectively. To our knowledge, these are the first communication-sparsifying schemes for distributed optimization over directed graphs. Experimental results on synthetic and real datasets show the efficacy of the proposed algorithms.

연구 동기 및 목표

• 고차원적 파라미터를 가진 네트워크에서 분산 최적화의 통신 비용을 줄이기 위해.
• 방향성의 시간에 따라 변화하는 네트워크에서 수렴 보장을 해치지 않고 메시지 스퍼스피케이션을 가능하게 하기 위해.
• 압축에도 불구하고 혼합 행렬의 열-스토하스틱성을 유지하여 이론적 수렴을 보장하기 위해.
• 통신 제약 조건 하에서 증명 가능하게 빠른 수렴 속도를 달성하는 알고리즘을 개발하기 위해.
• 합성 및 실세계 데이터셋에서 접근 방식을 검증하기 위해.

제안 방법

• 알고리즘은 분산 네트워크에서의 통신 오버헤드를 줄이기 위해 기울기 스퍼스피케이션을 사용한다.
• 압축 후에도 열-스토하스틱성을 유지하기 위해 국소 혼합 행렬을 수정함으로써 수렴 안정성을 확보한다.
• 국소 스퍼스피케이션에 기반해 각 노드에서 혼합 행렬을 적응적으로 조정하여 네트워크 일관성을 유지한다.
• 방향성 그래프의 동적 특성을 다루고 평균 공감을 유지하기 위해 수정된 푸시-섬 프레임워크를 활용한다.
• 이론적 분석을 통해 국소 행렬 조정이 적용되면 스퍼스피케이션이 수렴을 깨뜨리지 않는다는 것을 보여준다.
• 압축된 통신과 반복적 정밀화를 조합하여 빠른 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 스퍼스피케이션을 적용한 분산 최적화에 대해 통신 효율적일 수 있는가? 이는 수렴 보장을 잃지 않고 가능할 수 있는가?
• RQ2 메시지 압축이 방향성 네트워크에서 혼합 행렬의 열-스토하스틱성에 어떤 영향을 미치는가?
• RQ3 스퍼스피케이션 통신 하에서 방향성 그래프에서 분산 최적화에 대해 달성할 수 있는 수렴 속도는 무엇인가?
• RQ4 스퍼스피케이션 하에서 방향성 네트워크에서 평균 공감에 대해 기하급수적 수렴을 유지할 수 있는가?
• RQ5 혼합 행렬의 국소 조정이 분산 학습의 전반적인 성능와 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 스퍼스피케이션 통신을 사용하는 방향성 그래프에서 O(ln T / √T) 수렴 속도를 달성한다.
• 메시지 압축 조건 하에서도 평균 공감 문제에 대해 기하급수적 수렴을 달성한다.
• 이 방법은 시간에 따라 변화하는 방향성 네트워크에서 스퍼스피케이션과 수렴 보장을 동시에 구현한 최초의 방법이다.
• 혼합 행렬의 국소 조정이 열-스토하스틱성을 유지함으로써 이론적 수렴을 가능하게 한다.
• 합성 및 실세계 데이터셋에서의 실험 결과는 이 접근 방식의 효용성과 확장 가능성을 확인한다.
• 고차원 파라미터 공간과 제한된 통신 조건 하에서도 성능를 유지한다.