[논문 리뷰] Redundancy Techniques for Straggler Mitigation in Distributed Optimization and Learning

Can Karakus, Yifan Sun외 2명|arXiv (Cornell University)|2018. 03. 14.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 40

한 줄 요약

인코딩된 분산 최적화 프레임워크를 도입하여 데이터에 중복성을 추가하고, 매 반복마다 m 개의 워커 중 가장 빠른 k개만을 사용하며, 데이터 및 모델 병렬성 하에서 그래디언트 내림차(gravity descent), L-BFGS, 근접 그래디언트(proximal gradient), 블록 좌표 하강법의 수렴 보장을 제공한다.

ABSTRACT

Performance of distributed optimization and learning systems is bottlenecked by "straggler" nodes and slow communication links, which significantly delay computation. We propose a distributed optimization framework where the dataset is "encoded" to have an over-complete representation with built-in redundancy, and the straggling nodes in the system are dynamically left out of the computation at every iteration, whose loss is compensated by the embedded redundancy. We show that oblivious application of several popular optimization algorithms on encoded data, including gradient descent, L-BFGS, proximal gradient under data parallelism, and coordinate descent under model parallelism, converge to either approximate or exact solutions of the original problem when stragglers are treated as erasures. These convergence results are deterministic, i.e., they establish sample path convergence for arbitrary sequences of delay patterns or distributions on the nodes, and are independent of the tail behavior of the delay distribution. We demonstrate that equiangular tight frames have desirable properties as encoding matrices, and propose efficient mechanisms for encoding large-scale data. We implement the proposed technique on Amazon EC2 clusters, and demonstrate its performance over several learning problems, including matrix factorization, LASSO, ridge regression and logistic regression, and compare the proposed method with uncoded, asynchronous, and data replication strategies.

연구 동기 및 목표

• 분산 최적화 및 학습에서의 지연으로 인한 스트래글러 문제를 동기적으로 다루고 해결.
• 삭제된 업데이트를 보상하기 위한 과다완전 표현을 생성하는 인코딩 프레임워크를 제안.
• 데이터 및 모델 병렬성 하에서 일반 알고리즘의 인코딩 버전을 개발하고 분석.
• 임의의 지연 패턴 및 꼬리 분포에 견고한 결정론적 수렴 보장을 제공.
• 클라우드 클러스터에서의 실험을 통해 실용적 성능을 시연하고 비인코딩, 복제 및 비동기 전략과 비교.

제안 방법

• 데이터셋을 과충족 변환 S로 인코드하여 중복 인자인 β를 가진 키 큰 행렬 인코딩을 얻는다.
• 데이터 병렬성에서 인코딩된 문제 tilde f(w) = (1/2n) ||S(Xw - y)||^2 + λh(w)를 해결하되 m 워커로부터의 처음 k_t 업데이트를 대기하고, 나머지는 소실로 간주한다.
• 모델 병렬성에서 문제를 w = S^T v로 승격시키고 tilde g(v) = φ(XS^T v)를 해결하되 워커 간에 중복 좌표를 가진다.
• 그려진 프레임워크 내에서 그래디언트 내림, 제한된 메모리 BFGS, 근접 그래디언트, 및 블록 좌표 하강의 구체적 알고리즘 형식을 제공한다.
• 수렴을 보장하기 위해 S에 스펙트럴 BRIP(block-restricted isometry property)을 부과하고, 지연 꼬리 동작에 독립적인 결정론적 샘플 경로 수렴 결과를 도출한다.
• 안정된 헤세 추정치와 수렴을 보장하는 스텝 사이즈 규칙, 중첩(overlap) 요건, 업데이트 규칙을 제시한다.

실험 결과

연구 질문

• RQ1 임의의 지연 패턴 및 지연 꼬리에 대한 가정 없이 원래 목적함수로의 수렴이 보장되는가?
• RQ2 다양한 알고리즘(그래디언트 내림, L-BFGS, 근접 그래디언트, 블록 좌표 하강)에 대해 수렴을 보장하기 위해 인코딩 행렬 S가 만족해야 할 BRIP의 스펙트럼 특성은 무엇인가?
• RQ3 데이터 병렬성과 모델 병렬성에서 인코딩된 프레임워크의 중복 계수 β 및 선택된 k_t(또는 η)가 근사 정확도와 수렴에 어떻게 영향을 미치는가?
• RQ4 실용적 학습 문제에서 비인코딩, 비동기화, 복제 전략과 비교할 때 속도 향상 및 해의 질 측면에서 인코딩된 알고리즘은 어떤 차이가 있는가?
• RQ5 모델 병렬성하에서 정확한 수렴이 가능하고, 데이터 병렬성 하의 트레이드 오프는 무엇인가?

주요 결과

• 인코딩된 방법은 그래디언트 내림, L-BFGS, 근접 그래디언트, 블록 좌표 하강에 걸친 인코딩된 문제에 대해 결정론적 수렴 보장을 제공한다.
• S의 BRIP 유사 조건 하에서 그래디언트 내림은 평균적으로 1/t 수렴을 달성하고, 강하게 볼록한 경우 선형 수렴을 보이며 ε 의존 근사까지 달성한다.
• BRIP를 가진 경우 추가 중첩 조건과 함께 인코딩된 L-BFGS는 최적점으로의 선형 수렴 및 안정적인 역 Hessian 추정치를 제공한다.
• BRIP 및 적절한 스텝 크기 하에서 인코딩된 근접 그래디언트는 평균적으로 1/t 수렴을 유지하고 반복 간 비증가 함수 값을 보존한다.
• 제한된-강한 볼록성에서 표준 1/t 속도와 선형 속도를 달성하는 인코딩된 블록 좌표 하강은 모델 병렬성 하에서 정확한 최소 포텐셜을 달성한다.
• Amazon EC2에서의 실험은 매트릭스 인자분해, LASSO, 리지 회귀, 로지스틱 회귀 등의 작업에서 비인코딩, 복제, 비동기 기반선 대비 상당한 속도 향상을 보여준다.