[논문 리뷰] Distributed SAGA: Maintaining linear convergence rate with limited communication

Clément Calauzènes, Nicolas Le Roux|arXiv (Cornell University)|2017. 05. 29.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 제한된 노드 간 통신 조건에서도 선형 수렴를 유지할 수 있는 분산 SAGA를 제안한다. 지역 기울기 저장과 주기적 평균화를 활용하는 새로운 통신 효율적인 업데이트 방식을 도입함으로써, 중앙집중식 SAGA와 유사한 선형 수렴 속도를 달성하여 통신 오버헤드를 줄인 대규모 분산 기계학습에 적합하다.

ABSTRACT

In recent years, variance-reducing stochastic methods have shown great practical performance, exhibiting linear convergence rate when other stochastic methods offered a sub-linear rate. However, as datasets grow ever bigger and clusters become widespread, the need for fast distribution methods is pressing. We propose here a distribution scheme for SAGA which maintains a linear convergence rate, even when communication between nodes is limited.

연구 동기 및 목표

• 노드 간 통신이 제한된 조건에서도 선형 수렴를 유지하는 데 도전하는 것.
• 대규모 기계학습 문제에 적합한 확장 가능하고 통신 효율적인 SAGA 알고리즘의 변종을 설계하는 것.
• 낮은 통신 빈도 조건에서도 SAGA의 빠른 수렴 특성을 분산 환경에서 유지하는 것.
• 높은 통신 비용을 수반하는 대규모 클러스터에서 분산 감소 기법의 실용적 구현을 가능하게 하는 것.

제안 방법

• 각 노드에서 지역 기울기 저장을 유지함으로써 SAGA 알고리즘을 분산 환경에 확장한다.
• 각 워커는 지역적으로 기울기를 계산하고 로컬 버퍼에 저장함으로써 자주 동기화할 필요를 줄인다.
• 주기적 평균화 단계를 통해 노드 간 로컬 모델을 동기화함으로써 수렴성을 확보하면서도 통신 빈도를 최소화한다.
• 이 알고리즘은 저장된 과거 기울기를 사용해 기울기 노이즈를 추적하고 보정하는 분산 감소 기법을 사용한다.
• 통신은 매 반복마다가 아니라 간격을 두고 매개변수 평균화에 국한되어 네트워크 오버헤드를 줄인다.
• 분산 노드 간에서도 분산 SAGA의 선형 수렴 속도를 유지하기 위해 분산 감소 메커니즘이 효과적으로 작동하도록 보장한다.

실험 결과

연구 질문

• RQ1 노드 간 통신 주기가 희박한 조건에서도 SAGA의 분산 변종이 선형 수렴를 유지할 수 있는가?
• RQ2 분산 최적화에서 통신 비용을 줄이기 위해 분산 감소 기법을 어떻게 적응시킬 수 있는가?
• RQ3 분산 SAGA에서 통신 주파수와 수렴 속도 사이의 상충 관계는 어떠한가?
• RQ4 로컬 기울기 저장과 주기적 평균화가 중앙집중식 SAGA의 수렴 성질을 유지할 수 있는가?

주요 결과

• 제안된 분산 SAGA는 제한된 통신 조건에서도 중앙집중식 SAGA와 동일한 수렴 속도를 달성하며 선형 수렴를 유지한다.
• 매 반복이 아닌 주기적 동기화를 통해 통신 오버헤드를 크게 줄였다.
• 실증 결과는 다양한 데이터셋과 클러스터 크기에서 알고리즘이 빠른 수렴를 유지함을 보여준다.
• 로컬 기울기 저장을 통해 지속적인 동기화 없이도 효과적인 분산 감소를 달성할 수 있다.