[논문 리뷰] Distributed Stochastic Gradient Descent Using LDGM Codes

Shunsuke Horii, Takahiro Yoshida외 2명|arXiv (Cornell University)|2019. 01. 15.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 8

한 줄 요약

이 논문은 주로 마스터-워커 아키텍처에서 느린 실행 속도를 보이는 워커 노드(스트래글러)로 인한 성능 저하 문제를 완화하기 위해 저밀도 생성 행렬(Low-Density Generator Matrix, LDGM) 코드를 사용하는 분산 확률적 경사 하강법(distributed stochastic gradient descent, SGD) 기반의 방법을 제안한다. 반복적 페일링 디코딩을 활용해 낮은 계산 비용으로 편향이 없고 고성능의 경사 하강 추정치를 복구함으로써, 기존의 경사 하강 코드화 기법이 요구하는 완전한 경사 하강 복구가 불필요한 상황에서조차도 전반적인 수렴 속도를 높인다. 특히 스트래글러 확률이 낮을 경우, 전통적인 경사 하강 코드화 방식을 사용하는 전체 경사 하강법보다 더 빠른 수렴 성능을 보인다.

ABSTRACT

We consider a distributed learning problem in which the computation is carried out on a system consisting of a master node and multiple worker nodes. In such systems, the existence of slow-running machines called stragglers will cause a significant decrease in performance. Recently, coding theoretic framework, which is named Gradient Coding (GC), for mitigating stragglers in distributed learning has been established by Tandon et al. Most studies on GC are aiming at recovering the gradient information completely assuming that the Gradient Descent (GD) algorithm is used as a learning algorithm. On the other hand, if the Stochastic Gradient Descent (SGD) algorithm is used, it is not necessary to completely recover the gradient information, and its unbiased estimator is sufficient for the learning. In this paper, we propose a distributed SGD scheme using Low-Density Generator Matrix (LDGM) codes. In the proposed system, it may take longer time than existing GC methods to recover the gradient information completely, however, it enables the master node to obtain a high-quality unbiased estimator of the gradient at low computational cost and it leads to overall performance improvement.

연구 동기 및 목표

• 마스터-워커 아키텍처에서 흔히 발생하는 느린 워커 노드로 인한 분산 학습의 성능 저하 문제를 해결한다.
• 기존의 경사 하강 코드화(GC) 기법이 전체 경사 하강을 복구해야 하는 제약 조건을 극복한다. 이는 SGD의 경우 전체 경사 하강 복구가 반드시 필요하지 않다는 점을 고려한 것이다.
• SGD에 적합한 고속이고 정확한 경사 하강 추정치를 제공하는 저복잡도 코드화 기법을 개발하여 수렴 속도를 향상시킨다.
• 제곱 손실 함수에 국한되지 않는 더 넓은 머신 러닝 응용 분야로 코드 이론 기반 접근법을 확장한다.
• 분산 SGD의 경사 하강 추정에서 디코딩 지연과 근사 오차 사이의 트레이드오프를 최적화한다.

제안 방법

• 각 워커 노드에 데이터 배치를 LDGM 코드로 인코딩하여 분산 배포하며, 희소 생성 행렬 기반으로 각 워커는 국소 경사 하강의 선형 조합을 계산한다.
• 마스터 노드에서 반복적 페일링 기반 디코딩 알고리즘을 적용하여 워커 응답의 부분 집합에서 전체 경사 하강의 편향 없는 추정치를 복구한다.
• 도수-1 생성 노드의 비중을 높이는 코드 구조를 설계하여 스트래글러 조건에서도 디코딩 효율성과 수렴 성능을 향상시킨다.
• 디코딩된 경사 하강 추정치를 SGD 업데이트 규칙에 통합하며, 감소하는 학습률 $\eta^{(t)} = \eta^{(0)}/t$ 를 사용한다.
• 디코딩 과정을 모델링하고 다양한 스트래글러 확률 하에서 복구된 경사 하강의 비율을 예측하기 위해 밀도 진동(Density Evolution, DE) 분석을 적용한다.
• 디코딩을 시작하기 전에 워커 응답 수에 대한 임계값을 설정하여 대기 시간과 디코딩 품질 사이의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 스트래글러 조건 하에서 LDGM 코드 기반 분산 SGD가 비코딩된 SGD 및 기존의 경사 하강 코드화 방식보다 수렴 속도에서 뛰어난 성능을 보일 수 있는가?
• RQ2 특히 도수-1 생성 노드의 수와 같은 코드 구조의 선택이 디코딩 성능과 학습 수렴에 어떤 영향을 미치는가?
• RQ3 LDGM 코드를 활용한 반복적 디코딩이 낮은 계산 비용을 유지하면서도 얼마나 낮은 근사 오차를 달성할 수 있는가?
• RQ4 손실 함수가 제곱 손실이 아닐 경우, 전체 경사 하강 복구를 요구하는 기존 GC 방법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 제안된 방법에서 디코딩 시간과 근사 정확도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 스트래글러 확률이 낮을 경우(예: μ = 1.0 또는 2.0), LDGM 코드 기반 SGD는 비코딩된 SGD 및 RS 코드 기반 GD보다 더 빠른 수렴 속도를 보이며, 목적 함수 감소 측면에서 최고의 성능을 기록한다.
• 스트래글러 확률이 높을 경우(예: μ = 0.5), LDGM 코드 기반 SGD의 디코딩 성능이 열악하여 비코딩된 SGD가 더 우수한 성능을 보이며, 이는 코드화 기법이 스트래글러가 흔하지 않은 경우에 가장 효과적임을 시사한다.
• 전체 경사 하강을 복구하지 않더라도, 낮은 디코딩 비용으로 고성능 근사 추정치를 제공함으로써, 기존의 전통적 GC 기반 전체 경사 하강법보다 더 빠른 수렴 속도를 달성한다.
• 도수-1 생성 노드의 수를 늘일수록 디코딩 알고리즘이 안정적으로 수렴하며, 스트래글러 조건 하에서도 복구 성능이 향상된다.
• RS 코드 기반 GD는 전체 경사 하강 복구를 수행하지만 기대 대기 시간이 길며(예: μ = 0.5일 경우 약 12.112), LDGM 코드 기반 SGD보다 수렴 속도에서 열등하다.
• 낮은 복잡도의 디코딩과 편향 없는 경사 하강 추정치를 조합함으로써 제안된 방법은 대규모 실시간 분산 학습 시스템에 적합한 더 빠른 학습을 가능하게 한다.