[논문 리뷰] Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets.

Sai Aparna Aketi, Amandeep Singh외 1명|arXiv (Cornell University)|2021. 02. 10.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 4

한 줄 요약

이 논문은 비대칭적이고 시간에 따라 변화하는 피어 투 피어 그래프에서 비정규분포 데이터를 가진 분산 학습을 위한 통신 및 에너지 효율적인 분산 학습 알고리즘인 Sparse-Push (SP)와 Skew-Compensated Sparse Push (SCSP)을 제안한다. 이 방법들은 ResNet-20과 VGG11에서 CIFAR-10을 학습할 때 최대 466배의 통신 감소를 달성하면서 정확도 저하가 1% 이내이며, SCSP는 비정규분포 데이터에서 압축으로 인한 성능 저하를 복구한다.

ABSTRACT

Current deep learning (DL) systems rely on a centralized computing paradigm which limits the amount of available training data, increases system latency, and adds privacy and security constraints. On-device learning, enabled by decentralized and distributed training of DL models over peer-to-peer wirelessly connected edge devices, not only alleviate the above limitations but also enable next-gen applications that need DL models to continuously interact and learn from their environment. However, this necessitates the development of novel training algorithms that train DL models over time-varying and directed peer-to-peer graph structures while minimizing the amount of communication between the devices and also being resilient to non-IID data distributions. In this work we propose, Sparse-Push, a communication efficient decentralized distributed training algorithm that supports training over peer-to-peer, directed, and time-varying graph topologies. The proposed algorithm enables 466x reduction in communication with only 1% degradation in performance when training various DL models such as ResNet-20 and VGG11 over the CIFAR-10 dataset. Further, we demonstrate how communication compression can lead to significant performance degradation in-case of non-IID datasets, and propose Skew-Compensated Sparse Push algorithm that recovers this performance drop while maintaining similar levels of communication compression.

연구 동기 및 목표

• 엣지 AI 응용 분야에서 높은 통신 비용, 지연, 개인정보 위험을 유발하는 중심집중형 딥러닝의 한계를 해결한다.
• 엣지 기기 간의 비정규분포 데이터 분포에 강건한 분산 학습 알고리즘을 개발한다.
• 시간에 따라 변화하는 방향성 피어 투 피어 그래프에서 분산 학습의 통신 및 에너지 사용량을 최소화한다.
• 비정규분포 환경에서 통신 압축으로 인한 성능 저하를 극복한다.
• 각 기기의 메모리 및 계산 자원을 줄여 스마트폰이나 드론과 같은 자원 제약이 있는 기기에서의 현장 학습을 가능하게 한다.

제안 방법

• 방향성 있고 시간에 따라 변화하는 그래프에서 통신 효율적인 분산 최적화 알고리즘인 Sparse-Push (SP)를 제안하며, 상위-K 희소화와 푸시-섬 기반 평균화를 사용한다.
• 비정규분포 데이터에서 압축으로 인한 성능 저하를 보완하기 위해 동적으로 희소화 가중치를 조정하는 Skew-Compensated Sparse Push (SCSP)를 도입한다.
• 비대칭적이고 이중 스토하스틱이 아닌 연결성을 가진 방향성 그래프에서 일치를 유지하기 위해 푸시-섬 프로토콜을 활용한다.
• 가장 큰 크기의 기울기 또는 모델 업데이트만 전송함으로써 통신량을 줄이기 위해 상위-K 희소화를 적용한다.
• 전체 네트워크 구조를 전역적으로 알 필요 없이 각 노드가 자신의 통신 스케줄과 이웃을 제어할 수 있는 분산 학습 프레임워크를 사용한다.
• 시간에 따라 변화하는 연결성에 강건하고 향후 확장 시 비동기 업데이트를 지원할 수 있도록 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 방향성 있고 시간에 따라 변화하는 피어 투 피어 그래프에서 분산 학습 알고리즘이 고정확도를 유지하면서 통신량을 극적으로 줄일 수 있는가?
• RQ2 비정규분포 데이터 분포 하에서 분산 학습에서 통신 압축은 모델 성능에 어떤 영향을 미치는가?
• RQ3 비정규분포 데이터에서 압축으로 인한 성능 저하를 통신 효율성을 희생시키지 않고 복구할 수 있는가?
• RQ4 엣지 기기의 분산 학습에서 통신 및 에너지 비용을 얼마나 줄일 수 있는가?
• RQ5 제안된 알고리즘이 CIFAR-100과 같은 더 큰 모델과 데이터셋으로 확장될 수 있는가?

주요 결과

• ResNet-20과 VGG11을 CIFAR-10에서 학습할 때 Sparse-Push는 최대 466배의 통신 감소를 달성하면서 정확도 저하가 1% 이내이다.
• ResNet-110을 사용한 CIFAR-100에서 SCSP는 기준 압축 대비 438배의 통신 감소를 달성했으며 정확도가 1.62% 향상되었다.
• 비정규분포 데이터에서 통신 압축은 심각한 성능 저하를 유발하며, VGG11에서 0.1% 희소화 조건에서 정확도가 92.09%에서 88.81%로 떨어졌다.
• SCSP는 성능 저하를 복구하여 0.1% 희소화 조건에서 VGG11의 정확도를 89.99%로 끌어올렸으며, 기준 압축 대비 88.81%보다 높았다.
• 16개 기기에서 분산 학습을 수행함으로써 ResNet-20의 경우 각 기기의 메모리 사용량을 243MB에서 20.3MB로, 계산량을 5.24GFlops에서 0.33GFlops로 줄였다.
• SCSP 알고리즘은 최대 467배의 높은 통신 압축을 유지하면서도 모델 정확도를 전체 통신 기반 기준 대비 1% 이내로 유지한다.