[논문 리뷰] Decentralized gradient methods: does topology matter?

Giovanni Neglia, Chuan Xu외 2명|arXiv (Cornell University)|2020. 02. 28.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 이론적 예측이 고도로 연결된 구조로 빠른 수렴을 예측하는 데 비해, 벽시계 시간 기준으로도 희박한 통신 상호작용 구조가 더 빠른 수렴을 보이는 이유를 탐구한다. 이는 느린 워커에 대한 의존도를 줄여 스트래글러 문제를 완화하기 때문이다. 이로 인해 통신 지연이 없더라도 실질적인 수렴 속도가 빨라지며, 이론적 분석을 개선하여 이를 입증한다.

ABSTRACT

Consensus-based distributed optimization methods have recently been advocated as alternatives to parameter server and ring all-reduce paradigms for large scale training of machine learning models. In this case, each worker maintains a local estimate of the optimal parameter vector and iteratively updates it by averaging the estimates obtained from its neighbors, and applying a correction on the basis of its local dataset. While theoretical results suggest that worker communication topology should have strong impact on the number of epochs needed to converge, previous experiments have shown the opposite conclusion. This paper sheds lights on this apparent contradiction and show how sparse topologies can lead to faster convergence even in the absence of communication delays.

연구 동기 및 목표

• 이론적 예측(밀도 높은 구조에서 더 빠른 수렴)과 실증 결과(다양한 구조에서 유사한 수렴 속도) 사이의 모순을 해결하기 위해.
• 통신 구조가 단지 통신 부하를 넘어서 분산 최적화의 수렴 속도에 영향을 미치는지 조사하기 위해.
• 이론적 기대와는 다르게, 반경형 구조와 같은 희박한 구조가 클리크와 같은 밀도 높은 구조보다 벽시계 시간 기준으로 더 빠른 수렴을 보이는 이유를 이해하기 위해.
• 실제 요소인 스트래글러 효과와 통신 변동성 등을 고려한 개선된 이론적 분석을 개발하기 위해.
• 실제 기계학습 워크로드와 다양한 통신 구조를 대상으로 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 네트워크 구조를 고려한 수정된 수렴 한계를 사용하여 스펙트럴 갭, 스트래글러 효과, 통신 변동성을 통합한 개선된 수렴 분석을 제안한다.
• 반복 횟수와 벽시계 시간을 분리하는 새로운 수렴 지표를 도입하여, 네트워크 구조가 실질적 성능에 미치는 영향을 분석할 수 있도록 한다.
• 통신 지연과 스트래글러 효과의 영향을 반영한 새로운 이론적 한계(식 7)를 유도하며, 이는 이전의 한계(식 8)를 개선한다.
• 다양한 데이터셋(CT, MNIST, CIFAR-10)과 통신 구조(ring, clique, 확장 그래프)를 사용하여 수렴을 실증적으로 평가한다.
• Spark와 ASCI Q 슈퍼컴퓨터에서의 실제 계산 시간 분포를 사용하여 현실적인 통신 지연과 스트래글러 행동을 시뮬레이션한다.
• 네트워크 차수와 모델 복잡도의 변화에 따라 이론적 예측과 실험 결과를 비교하여 모델의 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 이론적 예측이 밀도 높은 그래프를 선호하는 데 비해, 왜 실증 결과에서는 다양한 구조 간에 유사한 수렴 속도를 보이는가?
• RQ2 통신 지연 또는 스트래글러 행동이 분산 최적화 알고리즘의 실질적 성능에 어느 정도 영향을 미치는가?
• RQ3 통신 비용이 무시할 만큼 낮을 때도 반경형 구조와 같은 희박한 구조가 클리크와 같은 밀도 높은 구조보다 벽시계 시간 기준으로 더 빠를 수 있는가?
• RQ4 스트래글러 효과가 존재할 때 네트워크 구조의 스펙트럴 갭은 수렴 속도와 어떻게 관련되는가?
• RQ5 개선된 이론적 모델은 다양한 기계학습 워크로드와 구조에서 수렴 행동을 정확하게 예측할 수 있는가?

주요 결과

• 스트래글러에 대한 민감도가 낮아지므로, 통신 비용이 무시할 만큼 낮더라도 반경형과 같은 희박한 구조가 클리크보다 더 빠른 벽시계 시간 수렴을 달성할 수 있다.
• 새로운 이론적 한계(식 7)는 이전의 한계보다 더 정확하게 수렴 행동을 예측하며, 특히 스트래글러 효과와 변동성이 있는 통신 지연이 존재할 경우에 유의미하게 향상된다.
• CT 데이터셋의 경우, 새로운 모델은 반경형과 클리크 간 수렴 차이가 4% 이내로 1~5회 반복 내에 발생함을 예측했고, 이는 이론적 예측이 수십만 배 이상 과도하게 예측한 것과 대비된다.
• MNIST와 CIFAR-10에서 새로운 모델은 4~250회 반복 내에 수렴 차이가 10% 이내로 예측했지만, 이전 모델은 무한대의 반복을 예측하여 정확도가 향상됨을 보여준다.
• 스펙트럴 갭만으로는 수렴 속도를 예측하기 부족하며, 스트래글러 효과와 통신 변동성이 실질적 성능에 지배적인 영향을 미친다.
• 실험 결과는 새로운 모델의 예측이 Spark와 ASCI Q를 포함한 다양한 데이터셋과 하드웨어 플랫폼에서 실제 성능과 매우 밀접하게 일치함을 확인한다.