[논문 리뷰] Periodic Stochastic Gradient Descent with Momentum for Decentralized Training

Hongchang Gao, Heng Huang|arXiv (Cornell University)|2020. 08. 24.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 분산 학습을 위한 주기적 탈중앙화된 운동량 SGD(PD-SGDM) 및 그 통신 효율적인 변형인 CPD-SGDM을 제안하며, 수렴 속도 향상에 기여하는 주기적 통신과 운동량을 결합한다. 이론적 분석을 통해 네트워크 구조, 운동량 계수, 통신 빈도에 특정 조건이 만족될 경우 선형 속도 향상이 달성 가능하다는 것을 증명하며, 이는 이 분야에서 처음으로 이러한 결과를 이끌어낸다.

ABSTRACT

Decentralized training has been actively studied in recent years. Although a wide variety of methods have been proposed, yet the decentralized momentum SGD method is still underexplored. In this paper, we propose a novel periodic decentralized momentum SGD method, which employs the momentum schema and periodic communication for decentralized training. With these two strategies, as well as the topology of the decentralized training system, the theoretical convergence analysis of our proposed method is difficult. We address this challenging problem and provide the condition under which our proposed method can achieve the linear speedup regarding the number of workers. Furthermore, we also introduce a communication-efficient variant to reduce the communication cost in each communication round. The condition for achieving the linear speedup is also provided for this variant. To the best of our knowledge, these two methods are all the first ones achieving these theoretical results in their corresponding domain. We conduct extensive experiments to verify the performance of our proposed two methods, and both of them have shown superior performance over existing methods.

연구 동기 및 목표

• 비볼록 최적화를 위한 분산 운동량 SGD에서 이론적 이해 부족과 실용적 효율성 문제를 해결하기 위해.
• 수렴 속도를 유지하면서 분산 학습의 통신 오버헤드를 줄이기 위해.
• 주기적 분산 운동량 SGD가 워커 수에 대해 선형 속도 향상을 달성할 수 있는 이론적 조건을 규명하기 위해.
• 수렴 보장을 유지하면서 주기적 통신 중 모델 파라미터를 압축하는 통신 효율적인 변형을 설계하기 위해.
• 기존의 분산 학습 접근 방식과 비교하여 제안된 방법의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 지속적인 로컬 업데이트와 운동량을 사용하며, 매 p 반복마다만 통신하는 주기적 분산 운동량 SGD인 PD-SGDM을 제안한다.
• CPD-SGDM에서 통신 라운드당 통신 비용을 줄이기 위해 압축 연산자를 도입하여 워커 간 효율적인 파라미터 교환을 가능하게 한다.
• 분산 네트워크 전역에서 모델 파라미터를 집계하기 위해 혼합 행렬 W를 사용한 가중 평균화 기법을 적용한다.
• 수축 사상과 프로베니우스 노름 분석을 활용해 운동량, 네트워크 구조, 통신 빈도의 영향을 분석하는 이론적 수렴 경계를 유도한다.
• 리아푸노프 함수 접근법을 사용해 국소 모델과 글로벌 모델 간 거리의 감쇠를 분석하여 특정 파rameter 조건 하에서 수렴을 증명한다.
• 학습률, 운동량, 압축 비율, 네트워크 구조에 대한 조건을 설정하여 수렴 속도 향상이 선형으로 달성됨을 보장한다.

실험 결과

연구 질문

• RQ1 주기적 분산 운동량 SGD가 워커 수에 대해 선형 속도 향상을 달성할 수 있는 조건은 무엇인가?
• RQ2 운동량의 포함 여부가 주기적 통신를 갖는 분산 학습에서 수렴 행동에 어떤 영향을 미치는가?
• RQ3 주기적 분산 운동량 SGD에 압축을 통합할 수 있는가? 이 경우 수렴 성능이 떨어지지 않는가?
• RQ4 네트워크 구조와 혼합 행렬의 성질이 제안된 방법의 수렴 속도에 이론적으로 어떤 영향을 미치는가?
• RQ5 운동량, 주기적 통신, 압축의 상호작용이 전체 수렴 성능와 통신 효율성에 어떤 영향을 미치는가?

주요 결과

• PD-SGDM은 학습률, 운동량, 네트워크 구조에 특정 조건이 만족될 경우 워커 수에 대해 선형 속도 향상을 달성한다.
• 이론적 분석을 통해 주기적 통신과 운동량이 존재하더라도 선형 속도 향상이 달성 가능하다는 것을 증명하며, 이는 이 분야에서 처음으로 이뤄진 결과이다.
• CPD-SGDM은 파라미터 압축을 통해 라운드당 통신 비용을 줄이며 선형 속도 향상을 달성하며, 수렴 조건이 명시적으로 유도되었다.
• 양 방법의 수렴 속도는 혼합 행렬 W의 스펙트럼 성질과 압축 비율에 따라 달라지며, 리아푸노프 분석을 통해 더 탴한 경계가 확립되었다.
• 실증 평가 결과, PD-SGDM과 CPD-SGDM은 수렴 속도와 최종 모델 정확도 측면에서 기존의 분산 학습 방법들을 모두 능가하는 것으로 나타났다.
• 이론적 경계는 실증적으로도 검증되었으며, 유도된 조건 하에서 수렴 속도가 워커 수에 비례하여 선형적으로 증가하는 것으로 확인되었다.