[논문 리뷰] Robust and Communication-Efficient Collaborative Learning

Amirhossein Reisizadeh, Hossein Taheri외 3명|arXiv (Cornell University)|2019. 07. 24.

Stochastic Gradient Optimization Techniques참고 문헌 67인용 수 9

한 줄 요약

이 논문은 마감 시간 기반 국소 계산과 모델 양자화를 통해 스트레일러에 대한 강건성과 통신 효율성을 향상시키는 분산형 확률적 경사하강법인 QuanTimed-DSGD를 제안한다. 볼록 설정에서는 전역 최적해로 정확한 수렴을 달성하고, 비볼록 설정에서는 일阶 정류점으로 수렴하며, MNIST 및 CIFAR-10에서 최신 기술 대비 훈련 시간이 최대 3배 빠르게 된다.

ABSTRACT

We consider a decentralized learning problem, where a set of computing nodes aim at solving a non-convex optimization problem collaboratively. It is well-known that decentralized optimization schemes face two major system bottlenecks: stragglers' delay and communication overhead. In this paper, we tackle these bottlenecks by proposing a novel decentralized and gradient-based optimization algorithm named as QuanTimed-DSGD. Our algorithm stands on two main ideas: (i) we impose a deadline on the local gradient computations of each node at each iteration of the algorithm, and (ii) the nodes exchange quantized versions of their local models. The first idea robustifies to straggling nodes and the second alleviates communication efficiency. The key technical contribution of our work is to prove that with non-vanishing noises for quantization and stochastic gradients, the proposed method exactly converges to the global optimal for convex loss functions, and finds a first-order stationary point in non-convex scenarios. Our numerical evaluations of the QuanTimed-DSGD on training benchmark datasets, MNIST and CIFAR-10, demonstrate speedups of up to 3x in run-time, compared to state-of-the-art decentralized optimization methods.

연구 동기 및 목표

• 분산 협업 학습에서 발생하는 두 가지 주요 시스템적 제약 요인인 스트레일러로 인한 지연과 높은 통신 오버헤드를 해결하기 위해.
• 비소멸적인 양자화 및 확률적 경사하강 노이즈가 존재하는 상황에서도 수렴 보장을 유지하는 분산 최적화 알고리즘을 설계하기 위해.
• 볼록 및 비볼록 최적화 설정에서 더 빠른 수렴과 향상된 런타임 효율성을 달성하기 위해.
• 제한된 대역폭과 신뢰할 수 없는 노드가 존재하는 대규모 분산 시스템에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 각 반복에서 노드당 국소 기울기 계산에 고정된 마감 시간 $T_d$를 도입하여, 개별 계산 속도에 관계없이 모든 노드가 동기적으로 진행되도록 보장한다.
• 큰 네트워크에서 통신 부담을 줄이기 위해 인접한 노드 간에 양자화된 모델 업데이트를 교환한다.
• 국소 업데이트와 공식 기반 평균화를 통한 분산형 확률적 경사하강 프레임워크를 활용한다.
• 네트워크 토폴로지, 양자화기, 확률적 기울기 등 표준 가정 하에 이론적 분석을 통합한다.
• 리아파노프 분석과 오차 분해를 사용하여 강력한 볼록 및 비볼록 손실 함수에 대한 수렴 속도를 유도한다.
• 수렴 속도와 공식 오차 감쇠 사이의 균형을 맞추기 위해 스텝 사이즈와 파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 비소멸적인 양자화와 확률적 기울기 노이즈가 존재하는 볼록 설정에서 분산 최적화 알고리즘이 전역 최적해로 정확한 수렴을 이룰 수 있는가?
• RQ2 시스템 수준의 제약 조건 하에서 비볼록 최적화에서 제안된 방법이 일阶 정류점으로 증명 가능한 수렴을 이룰 수 있는가?
• RQ3 마감 시간 기반 계산과 모델 양자화의 조합이 수렴 속도와 통신 효율성에 어떤 영향을 미치는가?
• RQ4 반복 횟수와 시스템 파라미터 측면에서 제안된 방법의 이론적 수렴 속도는 무엇인가?
• RQ5 실제 벤치마크 데이터셋에서 기존의 분산 방법 대비 알고리즘이 실질적인 속도 향상을 보여주는가?

주요 결과

• QuanTimed-DSGD는 비소멸적인 양자화가 존재하는 강력한 볼록 설정에서 $\mathcal{O}(1/\sqrt{T})$에 근접한 임의로 가까운 수렴 속도로 전역 최적해로 정확한 수렴을 달성한다.
• 비볼록 설정에서는 $\mathcal{O}(T^{-1/3})$의 수렴 속도로 일阶 정류점으로 증명 가능한 수렴을 달성한다.
• 공식 오차는 최적성 갭과 동일한 속도로 감쇠하여 충분히 큰 $T$에 대해 정확한 수렴을 보장한다.
• MNIST 및 CIFAR-10에서의 수치적 평가 결과, 최신 기술 대비 최대 3배의 런타임 속도 향상을 보였다.
• 각 반복에서 고정된 계산 마감 시간을 적용함으로써 느린 노드를 기다리지 않고 스트레일러에 대한 강건성을 유지한다.
• 양자화로 통신 오버헤드를 줄였으며, 수렴 성능에 영향을 주지 않아 대규모 밀도 높은 네트워크에서 효율적인 구현이 가능하다.