[논문 리뷰] Straggler Mitigation in Distributed Optimization Through Data Encoding

Can Karakus, Yifan Sun외 2명|arXiv (Cornell University)|2017. 11. 14.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 63

한 줄 요약

이 논문은 분산 최적화에서 지연 노드(stragglers)를 완화하기 위해 데이터 자체에 중복성을 내재시키고, 코딩-무관 경사 하강법과 L-BFGS가 일부 노드의 하위 집합만 사용하여 근사 해에 수렴하도록 한다.

ABSTRACT

Slow running or straggler tasks can significantly reduce computation speed in distributed computation. Recently, coding-theory-inspired approaches have been applied to mitigate the effect of straggling, through embedding redundancy in certain linear computational steps of the optimization algorithm, thus completing the computation without waiting for the stragglers. In this paper, we propose an alternate approach where we embed the redundancy directly in the data itself, and allow the computation to proceed completely oblivious to encoding. We propose several encoding schemes, and demonstrate that popular batch algorithms, such as gradient descent and L-BFGS, applied in a coding-oblivious manner, deterministically achieve sample path linear convergence to an approximate solution of the original problem, using an arbitrarily varying subset of the nodes at each iteration. Moreover, this approximation can be controlled by the amount of redundancy and the number of nodes used in each iteration. We provide experimental results demonstrating the advantage of the approach over uncoded and data replication strategies.

연구 동기 및 목표

• 대규모 분산 최적화에서 지연 노드 완화의 필요성 제기.
• X와 y에 직접 중복성을 도입하는 데이터 인코딩 전략 제안.
• 노드가 인코딩 정보를 모른 채 동작하는 코딩-무관 실행 가능하게 하기.
• 인코딩된 데이터를 기반으로 경사 하강법과 L-BFGS의 수렴 보장을 증명.
• 실용적인 인코딩 스키마 제공 및 비코딩 및 복제 전략과의 실증 검증.

제안 방법

• ",tilde;X = S X and ˜y = S y with redundancy factor β; and solve f;β min_{w} (1/(2β n)) ||S(Xw - y)||^2.
• 각 이터레이션에서 m개의 노드 중 가장 빠른 k개만을 사용하여 그래디언트 구성요소를 제공한다.
• S의 스펙트럴 조건하에 w*의 근처 영역으로 결정적 선형 수렴을 보이는 수렴 보장을 도출한다.
• 세 가지 코딩 매트릭스 클래스: equiangular tight frames (ETF), 빠른 변환, 그리고 무작위 행렬을 제시한다.
• 인코딩된 문제에 대해 경사 하강법과 L-BFGS(라인 탐색 포함)를 적응시키고 그 동작을 분석한다.
• 데이터 인코딩으로 인한 프라이버시 이점 및 비매끄럽거나 제약된 문제로의 일반화 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 한 이터레이션에 일부 워커 업데이트만 사용될 때도 중복성을 가진 인코딩 데이터가 배치 방법에 대해 수렴 보장을 제공할 수 있는가?
• RQ2 원래 최적해의 근처로 수렴하기 위해 인코딩 행렬 S가 만족해야 할 스펙트럴 특성은 무엇인가?
• RQ3 특정 인코딩 스킴(ETF, 빠른 변환, 무작위 행렬)이 분산 최적화의 수렴성과 실용성 측면에서 어떤 성능을 보이는가?
• RQ4 경사 하강법 및 L-BFGS와 같은 표준 알고리즘을 핵심 절차를 수정하지 않고도 코딩-무관하게 만들 수 있는가?
• RQ5 중복 수준, 이터레이션당 응답 노드 수, 해의 근사 품질 사이의 트레이드오프는 무엇인가?

주요 결과

• 데이터에 중복성을 가진 인코딩은 이터레이션당 일부 노드만 사용하여 w*의 근처 영역으로 결정론적 선형 수렴을 가능하게 한다.
• 수렴에 필요한 인코딩 특성을 만족시키기 위해 세 가지 코딩 매트릭스 클래스(ETF, 빠른 변환, 무작위 행렬)가 제안된다.
• 실험 결과 코딩된 스킴이 릿지 회귀 및 행렬 인자분해 과제에서 비코딩 및 복제 전략보다 성능이 우수함을 보인다.
• 수렴 보장은 중복 수준 및 각 이터레이션에서 대기하는 노드 업데이트 수로 조정할 수 있다.
• 프라이버시 이점은 노드가 원시 데이터가 아닌 인코딩된 데이터로 작동하기 때문에서 비롯된다.
• 프레임워크는 더 일반적인 목표 및 제약/비매끄러운 문제로 확장 가능하다.