[논문 리뷰] On the Communication Latency of Wireless Decentralized Learning

Navid Naderializadeh|arXiv (Cornell University)|2020. 02. 10.

Cooperative Communication and Network Coding참고 문헌 27인용 수 5

한 줄 요약

이 논문은 n개의 노드가 공유된 매체를 통해 거리 기반 상호작용 범위 Rn^{-\beta}를 가진 근접성 기반 토폴로지로 기울기 교환을 수행하는 무선 분산 학습 네트워크에서의 통신 지연을 분석한다. 무작위 기하 그래프와 네트워크 정보이론을 사용하여 지연의 스케일링을 O(n^{2-3\beta}/(\beta\log n))로 도출하며, 네트워크 밀도 증가로 인한 지연 감소와 더 많은 교환으로 인한 지연 증가 사이의 균형을 보여주며, 수렴 속도와 통신 비용 간의 균형을 제공한다.

ABSTRACT

We consider a wireless network comprising $n$ nodes located within a circular area of radius $R$, which are participating in a decentralized learning algorithm to optimize a global objective function using their local datasets. To enable gradient exchanges across the network, we assume each node communicates only with a set of neighboring nodes, which are within a distance $R n^{-β}$ of itself, where $β\in(0,\frac{1}{2})$. We use tools from network information theory and random geometric graph theory to show that the communication delay for a single round of exchanging gradients on all the links throughout the network scales as $\mathcal{O}\left(\frac{n^{2-3β}}{β\log n} ight)$, increasing (at different rates) with both the number of nodes and the gradient exchange threshold distance.

연구 동기 및 목표

• 노드가 근처 이웃과만 기울기를 교환하는 무선 분산 학습 네트워크에서의 통신 지연을 모델링하고 정량화하는 것.
• 네트워크 크기(n), 전송 범위(Rn^{-\beta}), 간섭이 종합 기울기 교환 지연에 미치는 영향을 이해하는 것.
• 무작위 기하 그래프 이론과 네트워크 정보이론 도구를 사용하여 통신 지연의 점근적 상한을 유도하는 것.
• 분산 무선 머신러닝 시스템에서 수렴 속도와 통신 오버헤드 간의 최적화를 위한 설계 통찰을 제공하는 것.

제안 방법

• 반지름 R인 원형 영역에 균일하게 분포한 n개의 노드로 구성된 네트워크를 모델링하며, 각 노드는 거리 Rn^{-\beta} 이내의 이웃과만 통신한다.
• 무작위 기하 그래프 이론을 적용하여 기대 통신 링크 수와 네트워크의 연결성 특성을 기술한다.
• 간섭 제한 무선 네트워크에서의 가능 전송률에 대한 정보이론적 한계를 적용하며, 간섭을 노이즈로 간주한다.
• 충돌 그래프 모델과 스케줄링 제약 조건을 사용하여 모든 기울기 교환에 필요한 시간 슬롯 수의 상한을 도출한다.
• n → ∞로 향하는 점근적 분석을 통해 통신 지연의 스케일링 법칙을 유도한다.
• 미적분과 함수 볼록성 분석을 사용하여 지연 상한의 단조성(모노톤성)을 검증한다.

실험 결과

연구 질문

• RQ1 무선 분산 학습 네트워크에서 통신 지연은 노드 수 n에 따라 어떻게 스케일링되는가?
• RQ2 통신 범위 임계값 Rn^{-\beta}는 기울기 교환 지연에 어떤 영향을 미치는가?
• RQ3 무선 매체의 간섭 제한 특성은 동시 기울기 전송 스케줄링에 어떻게 영향을 미치는가?
• RQ4 분산 학습에서 네트워크 밀도(β를 통해)와 통신 지연 간의 기본적인 상충 관계는 무엇인가?
• RQ5 정보이론적 및 무작위 기하 그래프 도구를 사용하여 이러한 네트워크에서 지연의 날카운 점근적 상한을 도출할 수 있는가?

주요 결과

• n → ∞일 때, 단일 라운드 기울기 교환에 대한 통신 지연은 O(n^{2-3\beta}/(\beta\log n))로 스케일링된다.
• 지연은 노드 수 n이 증가함에 따라 증가하지만, 더 큰 β 값(밀도 높은 통신 토폴로지)에 따라 감소한다.
• 지연 상한은 충돌 그래프 모델과 정보이론적 전송률 한계를 기반으로 유도되었으며, 간섭은 노이즈로 간주된다.
• 분석 결과, β < 1/2일 경우 모든 기울기 교환에 필요한 시간 슬롯 수는 n에 대해 비선형적으로 증가한다.
• 유도된 지연 상한은 충돌 전송 수에 대해 단조롭게 변화함을 보여, 스케줄링 최적화의 타당성을 검증한다.
• 결과는 수렴 지연이 예측 가능한 효율적인 무선 분산 학습 시스템 설계를 위한 이론적 기반을 제공한다.