[논문 리뷰] Gradient Energy Matching for Distributed Asynchronous Gradient Descent

Joeri Hermans, Gilles Louppe|arXiv (Cornell University)|2018. 05. 22.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 동기화 SGD 프로세스에 대한 목표 동적 에너지를 일치시켜 비동기 시스템의 운동 에너지를 조정함으로써 훈련을 안정화시키는 새로운 분산 비동기 경량 최적화 알고리즘인 기울기 에너지 일치(GEM)를 소개한다. 에너지 일치 기반으로 동적으로 워커 업데이트를 재스케일링함으로써 GEM은 최대 100명의 워커에서 안정적이고 확장 가능한 훈련을 가능하게 하며, 기준 방법 대비 빠른 벽시계 속도 향상과 더 나은 일반화 성능을 달성한다.

ABSTRACT

Distributed asynchronous SGD has become widely used for deep learning in large-scale systems, but remains notorious for its instability when increasing the number of workers. In this work, we study the dynamics of distributed asynchronous SGD under the lens of Lagrangian mechanics. Using this description, we introduce the concept of energy to describe the optimization process and derive a sufficient condition ensuring its stability as long as the collective energy induced by the active workers remains below the energy of a target synchronous process. Making use of this criterion, we derive a stable distributed asynchronous optimization procedure, GEM, that estimates and maintains the energy of the asynchronous system below or equal to the energy of sequential SGD with momentum. Experimental results highlight the stability and speedup of GEM compared to existing schemes, even when scaling to one hundred asynchronous workers. Results also indicate better generalization compared to the targeted SGD with momentum.

연구 동기 및 목표

• 많은 수의 워커로 확장할 경우 증가하는 오래된 업데이트와 지연으로 인해 발생하는 분산 비동기 SGD의 불안정성 문제를 해결하기 위해.
• 라그랑주 역학 및 에너지 동역학 원리를 활용해 비동기 최적화의 분석 및 안정화를 위한 이론적 기반 프레임워크를 개발하기 위해.
• 각 워커의 고유한 초기값 설정이나 학습률 감소 없이도 워커 간의 집합적 안정성을 보장하는 방법을 설계하기 위해.
• 효율적인 배치 크기 분할을 통해 확장 가능하고 고속의 훈련을 가능하게 하되 수렴성과 일반화 성능를 유지하기 위해.

제안 방법

• 파라미터 속도와 동량을 함수로 정의하는 라그랑주 역학 프레임워크 내에서 확률적 경사하강법를 수식화하고, 운동 에너지를 정의한다.
• 비동기 시스템의 안정성 기준이 되는 동기화 SGD와 동량을 갖춘 목표 프록시 프로세스를 도입한다.
• 충분한 안정성 조건을 유도한다: 비동기 시스템의 총 운동 에너지가 목표 프록시의 에너지보다 초과되어서는 안 된다.
• 개별 워커의 기울기 업데이트를 재스케일링하여 시스템 에너지를 프록시의 에너지 이하로 유지함으로써 실용적인 알고리즘인 GEM을 제안한다.
• 각 워커의 업데이트에 대한 스케일링 요소를 계산하기 위해 프록시의 에너지의 국소적 추정치를 사용하여, 전역 동기화 없이 에너지 일치를 보장한다.
• 현재 시스템과 목표 프록시 간의 상대적 에너지 차이를 기반으로 각 워커의 기울기 업데이트를 조정하는 피드백 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 라그랑주 역학에서 유도된 에너지 기반 기준을 사용해 분산 비동기 SGD의 동역학을 안정화시킬 수 있는가?
• RQ2 여러 비동기 워커의 집합적 행동을 안정적인 동기 기준 프로세스의 동역학과 일치시킬 수 있는가?
• RQ3 목표 프록시와의 에너지 등가성을 유지하면 대규모 분산 훈련에서 수렴성과 일반화 성능이 향상되는가?
• RQ4 학습률 감소나 워커별 고유의 초깃값 조정 없이도 GEM은 수백 명의 워커로 효과적으로 확장 가능한가?

주요 결과

• GEM는 최대 100명의 비동기 워커에서 안정적인 훈련을 달성하며, 고밀도 워커 환경에서 기준 방법인 Downpour 및 DynSGD에 비해 뚜렷한 성능 향상을 보였다.
• MNIST에서 GEM는 큰 학습률(η = 0.1) 조건에서도 안정성을 유지하지만, Downpour는 발산함을 확인하여 하이퍼파rameter 잘못 설정에 대한 강건성을 입증했다.
• AlexNet 기반 ImageNet 실험에서, 워커 수를 두 배로 늘렸을 때 각 워커의 배치 크기를 반으로 줄였음에도 불구하고 GEM는 기준 방법보다 더 빠른 수렴과 낮은 훈련 손실을 달성했다.
• GEM는 동기화 SGD와 동량을 갖춘 목표 프록시보다 더 나은 일반화 성능을 보였으며, 통제된 비동기성의 유익한 영향을 시사했다.
• 효율적인 배치 크기 분할을 통해 안정성을 유지하면서도 벽시계 속도 향상이 뚜렷하게 이루어졌다.
• 기울기 업데이트의 시각화 결과, GEM는 에너지 균형을 유지하기 위해 개별 텐서 성분을 동적으로 조정하는 것으로 확인되었으며, 이는 알고리즘의 내부 일관성을 뒷받침한다.