[논문 리뷰] Global Update Tracking: A Decentralized Learning Algorithm for Heterogeneous Data

Sai Aparna Aketi, Abolfazl Hashemi외 1명|arXiv (Cornell University)|2023. 05. 08.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

이 논문은 통신 오버헤드를 증가시키지 않으면서 이질적인 데이터 분포로 인한 성능 저하를 완화하는 새로운 탈중앙화 학습 알고리즘인 글로벌 업데이트 트래킹(GUT)을 제안한다. 기존의 기울기 대신 모델 파라미터 업데이트를 추적함으로써, CIFAR-10, CIFAR-100, 패션 MNIST, ImageNette에서 비독립 동일 분포(non-IID) 조건 하에 기존 방법 대비 1–6%의 테스트 정확도 향상을 달성한다.

ABSTRACT

Decentralized learning enables the training of deep learning models over large distributed datasets generated at different locations, without the need for a central server. However, in practical scenarios, the data distribution across these devices can be significantly different, leading to a degradation in model performance. In this paper, we focus on designing a decentralized learning algorithm that is less susceptible to variations in data distribution across devices. We propose Global Update Tracking (GUT), a novel tracking-based method that aims to mitigate the impact of heterogeneous data in decentralized learning without introducing any communication overhead. We demonstrate the effectiveness of the proposed technique through an exhaustive set of experiments on various Computer Vision datasets (CIFAR-10, CIFAR-100, Fashion MNIST, and ImageNette), model architectures, and network topologies. Our experiments show that the proposed method achieves state-of-the-art performance for decentralized learning on heterogeneous data via a $1-6\%$ improvement in test accuracy compared to other existing techniques.

연구 동기 및 목표

• 기기 간 비독립 동일 분포(이질적) 데이터 분포로 인한 탈중앙화 학습의 성능 저하 문제를 해결하기 위해.
• 통신 비용을 증가시키지 않으면서 수렴성과 정확도를 향상시키는 추적 기반 방법을 개발하기 위해.
• 기존의 기울기 추적 또는 운동량 기반 접근 방식이 2배의 통신 오버헤드를 유발하는 한계를 극복하기 위해.
• 실제 세계의 데이터 이질성 조건 하에서도 개인정보 보호와 확장성을 유지하면서 효과적인 탈중앙화 학습을 가능하게 하기 위해.
• 비독립 동일 분포 조건 하에서 최고 수준의 중심화 및 탈중앙화 알고리즘과 유사한 수렴 속도를 달성하기 위해.

제안 방법

• 기울기 대신 모델 파라미터 업데이트의 공감을 추적하는 글로벌 업데이트 트래킹(GUT)을 제안하며, 통신을 추적 변수만으로 줄인다.
• 각 에이전트는 이웃 기기의 모델 파라미터를 로컬 복사본으로 보관하고, 차이( x_i^t - x_i^{t-1} )를 계산하여 글로벌 업데이트를 추적한다.
• 지역 평균과 기울기 하강을 통해 업데이트되는 추적 변수 y_i^t 를 사용하여, 전체 모델 파라미터를 전송하지 않고도 모델 업데이트에 대한 공감을 달성한다.
• 통신 비용 없이 글로벌 운동량 동기화를 모방하는 준글로벌 운동량 변형인 QG-GUTm 을 도입하여 수렴 안정성을 향상시킨다.
• 업데이트 크기를 조절하기 위해 스케일링 요소 μ 를 사용하며, 수렴성과 성능의 균형을 맞추기 위해 데이터셋 및 네트워크 토폴로지에 따라 조정한다.
• 이론적 분석을 통해 비점근 수렴 속도를 제안하며, 최고 수준의 탈중앙화 알고리즘과 동일한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 통신 오버헤드를 증가시키지 않으면서 추적 메커니즘이 이질적 데이터에서 탈중앙화 학습 성능을 향상시킬 수 있는가?
• RQ2 기울기 대신 모델 파라미터 업데이트를 추적할 경우 탈중앙화 환경에서 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 준글로벌 운동량 메커니즘이 통신 없이 효과적으로 탈중앙화 방식으로 구현되어 데이터 이질성을 완화할 수 있는가?
• RQ4 GUT은 DSGDm, QG-DSGDm, D² 와 같은 기존 방법과 비교해 비독립 동일 분포 정도가 다양할 때 테스트 정확도와 수렴 속도에서 어떻게 다른가?
• RQ5 다양한 네트워크 토폴로지와 모델 아키텍처가 GUT 및 그 변형의 성능에 어떤 영향을 미치는가?

주요 결과

• ResNet-20를 사용한 16개 에이전트 린 토폴로지에서, α=0.01(높은 이질성) 조건 하에 QG-GUTm은 CIFAR-10에서 81.04% ± 1.66의 테스트 정확도를 기록하며 QG-DSGDm 대비 1.19% 높은 성능을 보였다.
• 16개 에이전트 린 토폴로지에서 ResNet-20를 사용한 경우, α=1 조건 하에 QG-GUTm은 88.22% ± 0.36의 정확도를 기록하며 DSGDm(86.60%)과 GUT(84.72%)를 모두 초월했다.
• ResNet-20를 사용한 CIFAR-100에서, α=0.1 조건 하에 QG-GUTm은 83.05% ± 0.48의 정확도를 기록했으며, DSGDm의 74.20% ± 1.89 대비 8.85% 향상된 성능을 보였다.
• GUT만으로도 α=0.01 조건 하에 CIFAR-10에서 70.16% ± 4.94의 정확도를 기록하며, DSGDm(65.62%) 및 운동량 변형 DSGDm-N(63.66%)를 모두 능가했다.
• QG-GUTm-N에서 네스터로프 운동량을 사용할 경우 고도로 이질적인 조건(α=0.01)에서 성능 저하가 발생하여, 비독립 동일 분포 환경에서는 준글로벌 운동량이 표준 운동량보다 더 효과적임을 시사했다.
• VGG-11 및 MobileNet-V2에서의 실험 결과는 아키텍처 간 일관된 성능 향상을 확인하였으며, α=1 조건 하에 QG-GUTm은 VGG-11에서 84.46% ± 0.33의 정확도를 기록하며 DSGDm의 81.77%를 상회했다.