[논문 리뷰] Data-heterogeneity-aware Mixing for Decentralized Learning

Yatin Dandi, Anastasia Koloskova외 2명|arXiv (Cornell University)|2022. 04. 13.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 데이터 이질성에 대응하는 혼합 전략을 제안하여 분산 학습에서 기울기 이탈을 감소시키고 수렴 속도를 향상시킨다. 혼합 행렬 설계를 데이터 이질성과 그래프 구조 간의 상호작용을 캡처하는 새로운 지표에 따라 이뤄지는 볼록 최적화 문제로 공식화함으로써, 통신 오버헤드를 증가시키지 않으면서도 비전 및 NLP 벤치마크에서 개선된 테스트 정확도를 달성한다.

ABSTRACT

Decentralized learning provides an effective framework to train machine learning models with data distributed over arbitrary communication graphs. However, most existing approaches toward decentralized learning disregard the interaction between data heterogeneity and graph topology. In this paper, we characterize the dependence of convergence on the relationship between the mixing weights of the graph and the data heterogeneity across nodes. We propose a metric that quantifies the ability of a graph to mix the current gradients. We further prove that the metric controls the convergence rate, particularly in settings where the heterogeneity across nodes dominates the stochasticity between updates for a given node. Motivated by our analysis, we propose an approach that periodically and efficiently optimizes the metric using standard convex constrained optimization and sketching techniques. Through comprehensive experiments on standard computer vision and NLP benchmarks, we show that our approach leads to improvement in test performance for a wide range of tasks.

연구 동기 및 목표

• 데이터 이질성과 비최적의 통신 구조로 인한 분산 SGD 성능 저하 문제를 해결한다.
• 분산 학습에서 데이터 분포의 이질성과 혼합 행렬 설계 간의 상호작용을 탐구한다.
• 실시간 기울기 통계를 기반으로 동적으로 혼합 가중치를 최적화할 수 있는 실용적이고 통신 효율적인 방법을 개발한다.
• 정적 또는 스펙트럼 갭 최적화 방법과 비교해 데이터 기반 혼합 전략이 더 빠른 수렴과 높은 테스트 정확도를 달성함을 입증한다.
• 혼합 행렬의 성질이 이질적 데이터 하에서 수렴 속도에 미치는 영향을 이론적으로 기반화한다.

제안 방법

• 노드 간 평균화 후 기울기 이탈 정도를 측정하는 새로운 지표인 상대적 이질성( relative heterogeneity)을 도입한다.
• 상대적 이질성 지표를 최소화하는 조건 하에 최적의 혼합 행렬 설계를 볼록 2차 계획 문제로 공식화한다.
• 스케치 기법을 활용해 노드 간 기울기 통계를 효율적이고 저비용으로 계산함으로써 실시간 혼합 행렬 업데이트를 가능하게 한다.
• 성능 향상을 유지하면서 통신 비용을 줄이기 위해 주기적이고 간헐적인 혼합 행렬 업데이트를 구현한다.
• 표준 D-SGD에 최소한의 변경으로 동적 혼합 전략을 통합한다.
• 기본값으로 메트로폴리스-해스팅스 가중치를 사용하고, 제약 조건이 있는 볼록 프로그래밍을 통한 데이터 적응형 최적화와 비교한다.

실험 결과

연구 질문

• RQ1 데이터 이질성은 분산 SGD에서 혼합 행렬에 어떻게 영향을 미치며, 이는 수렴에 어떤 영향을 미치는가?
• RQ2 데이터 기반의 시간에 따라 변하는 혼합 행렬은 정적 또는 스펙트럼 갭 최적화된 혼합 전략보다 우월한 성능을 보일 수 있는가?
• RQ3 분산 최적화에서 혼합 행렬, 데이터 이질성, 수렴 속도 간의 이론적 관계는 무엇인가?
• RQ4 높은 통신 또는 계산 비용 없이 실무에서 혼합 행렬을 효율적으로 어떻게 업데이트할 수 있는가?
• RQ5 다양한 딥러닝 벤치마크에서 데이터 기반 혼합 전략은 테스트 정확도를 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 HADSGD 및 기울기 추적 방법을 포함한 최신 베이스라인보다 여러 벤치마크에서 더 높은 테스트 정확도를 달성한다.
• ResNet20을 사용한 CIFAR-10에서, 메트로폴리스-해스팅스 가중치를 사용하는 표준 D-SGD 대비 최대 2.5%의 상위-1 정확도 향상을 기록한다.
• ResNet-20-EvoNorm을 사용한 ImageNet에서, 동일한 학습 제약 조건 하에 정적 혼합 전략보다 1.8%의 정확도 향상을 달성한다.
• AGNews에서 distilBERT를 미세조정할 경우, 균일하거나 스펙트럼 갭 최적화된 가중치를 사용하는 것과 비교해 데이터 기반 혼합 전략이 상위-1 정확도를 3.1% 향상시킨다.
• 링, 토러스, 사회 네트워크 구조를 포함한 다양한 구조에서 정적 및 스펙트럼 갭 최적화된 혼합 전략보다 일관되게 뛰어난 성능을 보인다.
• 이론적 분석을 통해 상대적 이질성 지표가 데이터 이질성이 확률적 노이즈를 지배할 경우 수렴 속도를 견고하게 제어함을 확인했다.