[논문 리뷰] A Sequential Approximation Framework for Coded Distributed Optimization

Jingge Zhu, Ye Pu외 3명|arXiv (Cornell University)|2017. 10. 24.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 스트래글러(straggler)가 존재하는 환경에서 계산을 가속화하기 위해, 완료된 프로세서의 부분 집합으로부터 조기에 유용한 결과를 도출할 수 있도록 하는 순차적 근사 프레임워크를 제안한다. 행렬-벡터 곱셈을 위한 코딩된 순차 계산 기법을 활용함으로써, 부분 계산 이후 어떤 시점에서도 근사 해를 보장하며, 코딩 기법의 최적성은 증명되었고 최적화 수렴 시간 향상이 입증되었다.

ABSTRACT

Building on the previous work of Lee et al. and Ferdinand et al. on coded computation, we propose a sequential approximation framework for solving optimization problems in a distributed manner. In a distributed computation system, latency caused by individual processors ("stragglers") usually causes a significant delay in the overall process. The proposed method is powered by a sequential computation scheme, which is designed specifically for systems with stragglers. This scheme has the desirable property that the user is guaranteed to receive useful (approximate) computation results whenever a processor finishes its subtask, even in the presence of uncertain latency. In this paper, we give a coding theorem for sequentially computing matrix-vector multiplications, and the optimality of this coding scheme is also established. As an application of the results, we demonstrate solving optimization problems using a sequential approximation approach, which accelerates the algorithm in a distributed system with stragglers.

연구 동기 및 목표

• 느린 프로세서로 인해 전체 계산이 지연되는 분산 최적화에서의 스트래글러 문제를 해결하기 위해.
• 프로세서 지연 시간이 불확실한 상황에서도 행렬-벡터 곱셈의 조기에 유용한 근사값을 도출할 수 있도록 하는 코딩 기법을 설계하기 위해.
• 이러한 코딩 기법을 순차적 근사 프레임워크에 통합하여 대규모 최적화 문제를 보다 효율적으로 해결하기 위해.
• 순차적 복구를 위한 제안된 코딩 기법의 최적성 증명하기 위해.

제안 방법

• 프로세서 간에 행렬 블록을 선형 코딩 기법으로 인코딩하여, 완료된 프로세서의 부분 집합으로부터도 부분 결과를 복구할 수 있도록 한다.
• 어떤 i개의 프로세서(1 ≤ i ≤ L)의 부분 집합이라도 행렬-벡터 곱을 복구할 수 있도록 하는 순차 계산 기법을 설계한다. 이는 조기에 근사 결과를 도출할 수 있도록 한다.
• 코딩 기법은 MDS 유사 원리에 기반하며, 각 프로세서가 다수의 행렬에서 온 행의 선형 조합을 저장하며, 최소한의 스토리지와 최대한의 복구 유연성을 확보하도록 최적화된다.
• 각 행렬 블록에 요구되는 최소 스토리지 양에 하한을 증명함으로써, 순차 복구 조건 하에서 제안된 기법이 최적임을 보여준다.
• 반복적 최적화 알고리즘(예: 프록시멀 그라디언트, ADMM)과 통합되어, 점진적으로 원래 문제의 해로 수렴하는 근사값을 반복적으로 해결한다.
• 이론적 분석을 통해 코딩 기법이 순차 복구를 위한 최적의 스토리지 사용을 달성함을 입증하며, 총 스토리지에 대한 유도된 하한과 일치함을 보였다.

실험 결과

연구 질문

• RQ1 비완료된 프로세서의 부분 계산 결과를 활용함으로써, 분산 최적화 시스템이 더 이르게 유용한 결과를 도출할 수 있는가?
• RQ2 어떤 i개의 프로세서의 부분 집합으로부터도 순차적 복구가 가능한 코딩 기법의 최소 스토리지 요구량은 얼마인가?
• RQ3 코딩된 계산을 반복적 최적화 알고리즘에 통합하여 스트래글러 존재 상황에서 수렴 속도를 가속화할 수 있는가?
• RQ4 제안된 순차 행렬-벡터 곱셈을 위한 코딩 기법은 스토리지 사용 측면에서 최적인가?
• RQ5 이러한 순차 코딩된 계산 기법의 이론적 성능 한계는 무엇인가?

주요 결과

• 제안된 순차 행렬-벡터 곱셈을 위한 코딩 기법은 스토리지 사용 측면에서 최적이며, 각 행렬 블록에 대한 유도된 하한과 정확히 일치한다.
• 이 기법은 i가 1에서 L까지의 범위에서 어떤 i개의 프로세서의 조합이라도 행렬-벡터 곱을 복구할 수 있도록 보장하여, 결과의 조기 근사가 가능하다.
• i가 k_i를 나누는 경우, 각 행렬당 최적 스토리지 요구량은 L*k_i/i이다; 그렇지 않은 경우 하한은 L*floor(k_i/i) + L - i + mod(k_i, i)이다.
• 스트래글러가 존재하는 분산 환경에서 전체 최적화 시간을 단축시키기 위해, 이 프레임워크는 조기에 근사 해로 수렴할 수 있도록 한다.
• 이 방법은 사용자 중심이며, 프로세서가 다양한 근사 수준을 인지할 필요가 없어 구현을 단순화한다.
• 순차적 근사 프레임워크는 프록시멀 그라디언트 및 ADMM 등의 최적화 알고리즘의 수렴 속도를 가속화하여, 부분 계산 결과를 적시에 활용할 수 있도록 한다.