[논문 리뷰] Beyond spectral gap: The role of the topology in decentralized learning

Thijs Vogels, Hadrien Hendrikx외 1명|arXiv (Cornell University)|2022. 06. 07.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 i.i.d. 설정에서 수렴 속도에 영향을 미치는 요소를 재고하며, 스펙트럴 갭 외에도 그래프 구조가 핵심적임을 보여준다. '효율적 인접 노드 수(effective number of neighbors)'라는 구조 지표를 도입하여 성능을 예측하고, 스펙트럴 갭이 열악한 린스(rings)가 스타(stars)보다 성능이 뛰어나는 이유를 설명하며, 희소 평균화가 초기 단계부터 분산을 줄여 더 큰 학습률을 허용함을 증명한다.

ABSTRACT

In data-parallel optimization of machine learning models, workers collaborate to improve their estimates of the model: more accurate gradients allow them to use larger learning rates and optimize faster. We consider the setting in which all workers sample from the same dataset, and communicate over a sparse graph (decentralized). In this setting, current theory fails to capture important aspects of real-world behavior. First, the 'spectral gap' of the communication graph is not predictive of its empirical performance in (deep) learning. Second, current theory does not explain that collaboration enables larger learning rates than training alone. In fact, it prescribes smaller learning rates, which further decrease as graphs become larger, failing to explain convergence in infinite graphs. This paper aims to paint an accurate picture of sparsely-connected distributed optimization when workers share the same data distribution. We quantify how the graph topology influences convergence in a quadratic toy problem and provide theoretical results for general smooth and (strongly) convex objectives. Our theory matches empirical observations in deep learning, and accurately describes the relative merits of different graph topologies.

연구 동기 및 목표

• i.i.d. 데이터를 사용한 분산 학습이 이론적 예측보다 빠르게 수렴하는 이유를 설명하는 것, 특히 크거나 희소한 그래프에서의 경우.
• 기존 스펙트럴 갭 기반 이론이 딥 러닝 및 볼록 최적화에서 실험 성능을 예측하지 못하는 이유를 규명하는 것.
• 구조가 분산 감소 및 허용 가능한 최대 학습률에 미치는 영향을 기록하는 새로운 이론 프레임워크를 개발하는 것.
• 다양한 구조와 문제 규모에서 그래프 성능을 예측할 수 있는 새로운 지표인 '효율적 인접 노드 수'를 도입하고 검증하는 것.
• 희소 평균화가 학습 초기 단계부터 기울기 분산을 줄여 더 큰 학습률을 가능하게 하고 수렴 속도를 높이는 방식을 보여주는 것.

제안 방법

• 다양한 그래프 구조가 분산 감소와 학습률 한계에 어떤 영향을 미치는지 정량화하기 위해 2차 형식의 간단한 문제를 분석한다.
• 효율적 인접 노드 수를 추정하기 위해 감쇠 파rameter γ를 가진 랜덤 워크 모델을 제안한다.
• 스펙트럼 갭 외에도 그래프 라플라시안의 전체 스펙트럼에 의존하는 부드럽고 (강하게) 볼록 목적 함수의 수렴 한계를 유도한다.
• 평가 시 노이즈를 줄이고 손실 곡선에 파arametric 감쇠 모델을 피팅하기 위해 모델 파aram터의 지수 이동 평균(EMA)을 사용한다.
• 모델 체크포인트에서 측정된 공분산 행렬과 예측된 공분산 행렬 간의 MSE를 최소화함으로써 각 구조에 대해 γ를 독립적으로 校정한다.
• 최적의 학습률을 각 구조에 맞게 조정하여 CIFAR-10 및 Fashion-MNIST에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 왜 스펙트럴 갭이 열악한 린스(rings)가 스타(stars)보다 분산 학습에서 더 뛰어난 성능을 보이는가?
• RQ2 왜 i.i.d. 데이터를 사용한 분산 학습이 이론적 예측보다 더 빠르게 수렴하는가, 특히 크거나 무한한 그래프에서의 경우?
• RQ3 스펙트럴 갭 외에 어떤 구조 지표가 분산 최적화에서 통신 그래프의 성능을 정확히 예측할 수 있는가?
• RQ4 희소 평균화가 학습 초기 단계부터 기울기 분산을 얼마나 줄이는가, 이로 인해 더 큰 학습률이 가능해지는가?
• RQ5 '효율적 인접 노드 수'처럼 문제에 종속되지 않는 단일 지표가 다양한 구조 간 상대적 성능을 예측할 수 있는가?

주요 결과

• 크기가 증가하는 린스는 더 큰 학습률과 더 빠른 수렴을 가능하게 하며, 이는 스펙트럴 갭 이론이 크기가 증가함에 따라 성능 저하를 예측하는 것과 정반대된다.
• 스펙트럴 갭이 더 좋은 스타 구조(0.0156)는 린스(0.0032)보다 성능이 열 劣하고 학습률 제한도 더 엄격하다.
• 감쇠 파arameter γ를 가진 랜덤 워크 모델에서 유도된 '효율적 인접 노드 수' 지표는 모든 테스트된 구조에서 스펙트럴 갭보다 더 정확하게 실험 성능을 설명한다.
• 볼록 최적화 및 딥 러닝 설정 모두에서 희소 평균화는 초기 단계부터 기울기 분산을 줄여, 단순 학습보다 훨씬 큰 학습률을 허용한다.
• 프레임워크는 상대적 성능을 정확히 예측한다: 2~32명의 워커를 가진 완전 연결 그래프의 경우, γ를 모든 구조 간에 공유할 때 '효율적 인접 노드 수' 지표와 잘 일치한다.
• 적합된 γ 값은 관측된 분산 감소와 강하게 상관되며, γ 값이 너무 높거나 너무 낮을 경우 모델의 예측 능력이 심각하게 떨어진다.