[논문 리뷰] Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data

Tao Lin, Sai Praneeth Karimireddy외 2명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 80인용 수 14

한 줄 요약

이 논문은 이질적 데이터에서 학습을 안정화하기 위해 글로벌 모멘텀을 국소적으로 근사함으로써 추가 통신 없이도 통신 비용을 절감하는 새로운 모멘텀 기반 분산 최적화 방법인 Quasi-Global Momentum (QG-DSGDm-N)을 제안한다. 데이터 비이.i.i.d. 정도가 높은 조건에서 CIFAR-10, ImageNet, AG News에서 기존 방법 대비 1–20% 높은 테스트 정확도를 달성하며, 분산 딥 러닝에서 일반화 성능을 크게 향상시킨다.

ABSTRACT

Decentralized training of deep learning models is a key element for enabling data privacy and on-device learning over networks. In realistic learning scenarios, the presence of heterogeneity across different clients' local datasets poses an optimization challenge and may severely deteriorate the generalization performance. In this paper, we investigate and identify the limitation of several decentralized optimization algorithms for different degrees of data heterogeneity. We propose a novel momentum-based method to mitigate this decentralized training difficulty. We show in extensive empirical experiments on various CV/NLP datasets (CIFAR-10, ImageNet, and AG News) and several network topologies (Ring and Social Network) that our method is much more robust to the heterogeneity of clients' data than other existing methods, by a significant improvement in test performance ($1\% \!-\! 20\%$). Our code is publicly available.

연구 동기 및 목표

• 클라이언트 간 데이터 이질성으로 인한 분산 딥 러닝에서의 낮은 일반화 성능과 불안정한 수렴 문제를 해결하기 위해.
• 기존의 모멘텀이 있는 분산 SGD(DSGDm)가 높은 데이터 비이.i.i.d. 조건에서 실패하는 이유를 규명하기 위해.
• 통신 비용을 증가시키지 않으면서 최적화 안정성과 이질적 데이터셋에서의 일반화 성능을 향상시키는 통신 효율적인 방법을 개발하기 위해.
• 다양한 네트워크 토폴로지와 데이터 분포 환경에서 Quasi-Global Momentum이 기존 분산 방법을 능가함을 보여주기 위해.

제안 방법

• 글로벌 모멘텀의 국소적 근사로 Quasi-Global (QG) 모멘텀을 제안하여, 글로벌 동기화 없이도 최적화 안정성을 향상시킨다.
• 이웃 정보를 활용해 글로벌 모멘텀 방향을 근사하면서도 로컬 모멘텀 버퍼를 유지하는 QG-DSGDm-N의 변종을 도입한다.
• 로컬 그래디언트와 공감 기반 모멘텀 추정치를 모두 포함하는 수정된 업데이트 규칙을 사용하여 학습 경로의 안정성을 높인다.
• 완전한 글로벌 동기화의 높은 통신 비용을 피하기 위해 이웃 모델 상태를 이용한 글로벌 모멘텀 벡터의 국소 근사를 적용한다.
• SGD 및 Adam 최적화기 모두에 적용하여 다양한 최적화 환경에서의 효과성을 검증한다.
• 다양한 실험 설정에서 견고한 성능을 확보하기 위해 학습률과 모멘텀 요소를 실증적으로 튜닝한다.

실험 결과

연구 질문

• RQ1 데이터 이질성이 분산 SGD에 모멘텀을 적용했을 때 수렴성과 일반화 성능에 어떤 영향을 미치는가?
• RQ2 로컬 모멘텀이 고도로 비이.i.i.d. 데이터 환경에서 왜 일반화 성능 향상을 이루지 못하는가?
• RQ3 통신 오버헤드를 증가시키지 않으면서 글로벌 모멘텀의 국소 근사가 최적화 안정성과 테스트 정확도 향상에 기여할 수 있는가?
• RQ4 이질적 데이터 조건에서 D² 및 기울기 추적 기법과 같은 최첨단 분산 방법과 비교해 QG-DSGDm-N은 어떻게 성능을 냈는가?
• RQ5 Quasi-Global Momentum는 다양한 네트워크 토폴로지와 모델 아키텍처에 걸쳐 일반화되는가?

주요 결과

• α=1(중간 수준의 비이.i.i.d.)일 때 CIFAR-10에서 QG-DSGDm-N은 91.28%의 top-1 정확도를 달성하여 동일 조건에서 DSGDm-N(89.98%)과 DSGD(88.88%)를 모두 앞선다.
• α=0.1(고도로 비이.i.i.d.) 조건에서 QG-DSGDm-N은 82.20%의 정확도를 기록하며, DSGD(74.55%) 대비 7.65% 향상되고 DSGDm-N(77.48%) 대비 4.72% 향상된다.
• 더 큰 린 토폴로지(n=32)에서도 QG-DSGDm-N은 α=0.1일 때 85.19%의 정확도를 달성하여 DSGD(77.56%)와 DSGDm-N(80.59%)를 크게 앞선다.
• AG News에서 DistilBERT를 사용한 NLP 작업에서는 QG-DAdam이 α=0.1일 때 88.33%의 정확도를 기록하며, DAdam(87.29%) 대비 1.04% 향상된다.
• QG-DSGDm-N은 다양한 데이터셋(CIFAR-10, ImageNet, AG News), 네트워크 토폴로지(링, 사회 네트워크) 및 비이.i.i.d. 정도(α=10, 1, 0.1)에서 일관되게 성능 향상을 보였다.
• 제거 실험을 통해 QG 모멘텀이 추가 통신 비용 없이도 로컬 모멘텀, 동기화 버퍼 또는 기울기 공유 대비 뚜렷한 성능 향상을 제공하는 것으로 확인되었다.