[논문 리뷰] Adaptive Communication Strategies to Achieve the Best Error-Runtime Trade-off in Local-Update SGD

Jianyu Wang, Gauri Joshi|arXiv (Cornell University)|2018. 10. 18.

Distributed and Parallel Computing Systems인용 수 119

한 줄 요약

본 논문은 AdaComm을 소개합니다. AdaComm은 로컬 업데이트 SGD를 위한 적응적 통신 전략으로, 처음에는 Averaging을 드물게 시작하고 점진적으로 통신 빈도를 높여 빠른 오류 수렴과 낮은 최종 오차를 달성합니다. 실험은 완전 동기식 SGD 대비 최대 3배의 런타임 속도 향상을 보여주며 동일한 최종 훈련 손실을 달성합니다.

ABSTRACT

Large-scale machine learning training, in particular distributed stochastic gradient descent, needs to be robust to inherent system variability such as node straggling and random communication delays. This work considers a distributed training framework where each worker node is allowed to perform local model updates and the resulting models are averaged periodically. We analyze the true speed of error convergence with respect to wall-clock time (instead of the number of iterations), and analyze how it is affected by the frequency of averaging. The main contribution is the design of AdaComm, an adaptive communication strategy that starts with infrequent averaging to save communication delay and improve convergence speed, and then increases the communication frequency in order to achieve a low error floor. Rigorous experiments on training deep neural networks show that AdaComm can take $3 \ imes$ less time than fully synchronous SGD, and still reach the same final training loss.

연구 동기 및 목표

• 분산 SGD의 로컬 업데이트와 주기적 평균화의 오류 대 월 시간 수렴을 동기화시키고 분석합니다.
• 평균화 빈도 tau가 반복당 런타임과 오차 바닥에 미치는 영향을 정량화합니다.
• 현실 세계의 훈련에 최적화된 트레이드오프를 위해 적응적 통신 체계(AdaComm)를 개발합니다.
• 빠르게 수렴하는 PASGD에서 가변 tau와 학습률에 대한 이론적 수렴 통찰을 제공합니다.
• 현실적인 시스템 가변성 하에서 딥 CNN에 AdaComm의 실용적 이점을 입증합니다.

제안 방법

• 무작위 로컬 컴퓨트 시간과 무작위 통신 지연 하에서 PASGD의 반복당 런타임을 모델링합니다.
• tau의 함수로서 PASGD의 오류-런타임 경계를 도출하고 최적의 tau에 대한 표현식을 얻습니다.
• 훈련을 시간 간격으로 분할하고 각 간격에서 tau를 선택하여 bound 기반의 오류를 최소화하는 AdaComm을 제안합니다.
• Unknown constants(예: Lipschitz 상수나 그래디언트 분산 한계)에 의존하지 않는 실용적 tau 업데이트 규칙을 제공합니다(손실-비 비율 휴리스틱 사용).
• 감쇠 tau 및 적응 학습률 시나리오를 포함하도록 분석을 확장합니다.
• CIFAR-10/100 데이터셋을 사용한 VGG-16 및 ResNet-50 실험으로 AdaComm을 검증합니다.

실험 결과

연구 질문

• RQ1 로컬 업데이트 빈도 tau가 PASGD의 실제 수렴 속도(월 시간 기준)에 어떤 영향을 미치는가?
• RQ2 시간에 따라 tau를 변화시키는 적응형 통신이 고정 tau 체계에 비해 오류-런타임 트레이드오프를 개선하는가?
• RQ3 그래디언트 노름의 경계을 최소화하기 위해 데이터, 시스템 지연, 시간에 따른 최적 tau는 무엇인가?
• RQ4 Lipschitz 상수나 그래디언트 분산 한계와 같은 미지의 상수에 접근하지 않고 AdaComm을 구현하는 실용적 휴리스틱은 무엇인가?
• RQ5 적응형 통신 전략이 다른 네트워크 아키텍처나 학습률 스케줄에 일반화될 수 있는가?

주요 결과

• AdaComm은 학습이 진행되면서 초기에는 큰 tau로 시작하고 축소함으로써 벽시계 시간 기준 수렴 속도를 높입니다.
• 이론적 분석은 tau가 클수록 각 반복의 런타임은 감소하지만 오차 바닥은 증가할 수 있는 오류-런타임 트레이드오프를 보여주며, AdaComm은 시간에 따라 tau를 적응시켜 이를 완화합니다.
• VGG-16 및 ResNet-50에서 AdaComm은 완전 동기식 SGD에 비해 최대 약 3배의 런타임 속도 향상을 달성하면서 동일한 최종 훈련 손실을 달성하고 일부 설정에서 더 나은 테스트 정확도를 보입니다.
• 간단화된 상수 하에서 최적의 tau*를 식으로 식별하여 실용적 통신 빈도 적응을 안내합니다.
• AdaComm은 학습률 스케줄과 결합될 수 있으며 관련된 통신 효율적 SGD 프레임워크에도 적용 가능합니다.