[논문 리뷰] Robust Gradient Descent via Moment Encoding with LDPC Codes

Raj Kumar Maity, Ankit Singh Rawat외 1명|arXiv (Cornell University)|2018. 05. 22.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 34

한 줄 요약

이 논문은 분산 기계학습을 위한 새로운 강건한 경사하강법을 제안하며, 낮은 밀도의 부호검사(LDPC) 코드를 사용해 데이터의 2차 모멘트를 인코딩하여 느린 작업자(straggler)의 영향을 완화한다. 반복적인 LDPC 디코딩을 활용하여 느린 작업자 수에 따라 적응적으로 조절함으로써, 기존 방법보다 더 빠른 수렴 속도와 더 낮은 계산 시간을 달성하며, 확률적 경사하강법 해석에 기반한 이론적 수렴 보장도 제공한다.

ABSTRACT

This paper considers the problem of implementing large-scale gradient descent algorithms in a distributed computing setting in the presence of {\em straggling} processors. To mitigate the effect of the stragglers, it has been previously proposed to encode the data with an erasure-correcting code and decode at the master server at the end of the computation. We, instead, propose to encode the second-moment of the data with a low density parity-check (LDPC) code. The iterative decoding algorithms for LDPC codes have very low computational overhead and the number of decoding iterations can be made to automatically adjust with the number of stragglers in the system. We show that for a random model for stragglers, the proposed moment encoding based gradient descent method can be viewed as the stochastic gradient descent method. This allows us to obtain convergence guarantees for the proposed solution. Furthermore, the proposed moment encoding based method is shown to outperform the existing schemes in a real distributed computing setup.

연구 동기 및 목표

• 대규모 기계학습 시스템에서 느린 작업자로 인한 분산 경사하강법의 성능 저하 문제를 해결한다.
• 다양한 작업자 응답 시간에도 불구하고 수렴 속도를 높일 수 있는 저비용, 확장 가능한 방법을 개발한다.
• 확률적 경사하강법 프레임워크 하에서 제안된 방법에 대한 이론적 수렴 보장을 제공한다.
• 실제 분산 컴퓨팅 환경에서 기존의 데이터 인코딩 및 복제 기반 방법보다 뛰어난 성능을 달성한다.
• 강건한 성능 유지를 유지하면서도 계산 및 통신 오버헤드를 최소화한다.

제안 방법

• 학습 데이터의 2차 모멘트(즉, 공분산 행렬)를 저밀도 부호검사(LDPC) 코드를 사용해 인코딩하여 강건한 경사하강 계산을 가능하게 한다.
• 존재하는 느린 작업자 수에 따라 디코딩 반복 수를 동적으로 조절하는 LDPC 코드의 반복적 디코딩 알고리즘을 사용한다.
• 인코딩된 2차 모멘트를 사용해 경사하강 업데이트를 수식화하여 일부 작업자가 응답하지 않더라도 수렴 가능하도록 한다.
• 결과로 도출된 알고리즘을 무작위 느린 작업자 모델 하에서 확률적 경사하강법의 한 형태로 해석함으로써 이론적 수렴 분석을 가능하게 한다.
• 실제 분산 시스템(swarms2 at UMass Amherst)에서 mpi4py를 사용해 구현하며, MDS 기반 인코딩, 복제, 비인코딩 기반 방법과 비교한다.
• 실험에서 (40,20) LDPC 코드와 부분 샘플링된 하다르드/가우시안 행렬을 사용해 데이터 인코딩을 수행한다.

실험 결과

연구 질문

• RQ1 LDPC 코드를 통한 모멘트 인코딩이 분산 경사하강법에서 느린 작업자의 영향을 효과적으로 줄일 수 있는가?
• RQ2 LDPC 코드의 적응형 디코딩이 다양한 느린 작업자 수가 존재할 경우 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ3 실제 시스템 환경에서 제안된 방법이 MDS 기반 인코딩 및 복제 기반 방법보다 더 나은 수렴 성능과 더 낮은 계산 시간을 달성할 수 있는가?
• RQ4 모멘트 인코딩이 어떤 조건에서 유효한 확률적 경사하강법 업데이트로 간주될 수 있는가?
• RQ5 실제 분산 학습 환경에서 인코딩 복잡도와 수렴 향상 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 LDPC 기반 모멘트 인코딩 기법은 모든 테스트 구성에서 MDS 기반 인코딩, 복제, 비인코딩 기반 방법보다 더 적은 반복 수로 수렴한다.
• m=2048, k=800 또는 1000인 최소 제곱 문제에서, 특히 5명 또는 10명의 느린 작업자가 존재할 경우 목표 정확도에 도달하기 위해 훨씬 적은 단계가 필요했다.
• 부족한 조건에서의 희소 복구 문제(m=1024, k=2000)에서, 기준 방법 대비 더 빠른 수렴 속도와 더 낮은 총 계산 시간을 달성했다.
• LDPC 코드의 반복적 디코딩은 느린 작업자 수에 자연스럽게 적응하여 디코딩 오버헤드를 줄이면서도 수렴 속도를 손상시키지 않는다.
• 이론적 분석 결과, 제안된 방법은 무작위 느린 작업자 모델 하에서 확률적 경사하강법과 동일시되며, 수렴 보장을 가능하게 한다.
• 실제 41노드 클러스터(40명의 워커, 1명의 마스터)에서의 실험 결과, 반복 수와 총 계산 시간 모두에서 MDS 기반 및 복제 기반 접근법보다 성능이 뛰어나다는 것이 확인되었다.