[논문 리뷰] Distributed Matrix Multiplication Using Speed Adaptive Coding.

Krishna Giri Narra, Zhifeng Lin외 3명|arXiv (Cornell University)|2019. 04. 15.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 분산 행렬 곱셈 및 기타 선형 대수 작업 워크로드에서 복제 및 표준 코딩된 계산과 비교해 총 계산 지연을 19%에서 39% 감소시키는 속도 적응형 코딩된 계산 프레임워크인 $S^2C^2$를 제안한다. 이 프레임워크는 LSTM 모델을 사용해 실시간 속도 예측을 기반으로 빠른 노드와 느린 노드에 작업을 동적으로 할당한다.

ABSTRACT

While performing distributed computations in today's cloud-based platforms, execution speed variations among compute nodes can significantly reduce the performance and create bottlenecks like stragglers. Coded computation techniques leverage coding theory to inject computational redundancy and mitigate stragglers in distributed computations. In this paper, we propose a dynamic workload distribution strategy for coded computation called Slack Squeeze Coded Computation ($S^2C^2$). $S^2C^2$ squeezes the compute slack (i.e., overhead) that is built into the coded computing frameworks by efficiently assigning work for all fast and slow nodes according to their speeds and without needing to re-distribute data. We implement an LSTM-based speed prediction algorithm to predict speeds of compute nodes. We evaluate $S^2C^2$ on linear algebraic algorithms, gradient descent, graph ranking, and graph filtering algorithms. We demonstrate a 19% to 39% reduction in total computation latency using $S^2C^2$ compared to job replication and coded computation. We further show how $S^2C^2$ can be applied beyond linear algebra.

연구 동기 및 목표

• 클라우드 기반 분산 컴퓨팅 환경에서 느린 노드(straggler nodes)로 인한 성능 저하 문제를 해결하기 위해.
• 노드 속도에 따라 지능적으로 작업을 할당하여 전통적인 코딩된 계산 프레임워크에 내재된 계산 여유를 줄이기 위해.
• 작업 재할당 중 데이터 재분배가 필요 없도록 동적 속도 인식 작업 분배를 활용해 이를 제거하기 위해.
• 코딩된 계산의 적용 범위를 선형 대수를 넘어서 기울기 하강, 그래프 순위 매기기, 그래프 필터링과 같은 알고리즘으로 확장하기 위해.
• 실시간 속도 예측과 적응형 작업 분배를 통해 종단 간 계산 지연을 개선하기 위해

제안 방법

• 실시간으로 컴퓨팅 노드의 실행 속도를 예측하기 위해 LSTM 기반의 속도 예측 모델을 사용한다.
• 예측된 속도에 기반해 더 많은 작업을 빠른 노드에, 더 적은 작업을 느린 노드에 할당하는 동적 작업 분배 전략을 설계한다.
• 속도 예측을 코딩된 계산 프레임워크에 통합하여 중복 계산을 최소화하고 총 지연 시간을 감소시킨다.
• 데이터 재분배가 필요 없이 실제 노드 성능에 맞춰 작업 분배를 조율함으로써 코딩 프레임워크의 내재된 계산 여유를 압축한다.
• 행렬 곱셈, 기울기 하강, 그래프 순위 매기기, 그래프 필터링 등 다양한 계산 워크로드에 $S^2C^2$ 프레임워크를 적용한다.
• 전체 계산 시간을 다양한 노드 속도 조건에서 최소화할 수 있도록, 여유 시간을 줄이는 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 이질적인 노드 속도가 존재하는 상황에서 코딩된 계산 프레임워크의 계산 여유를 효과적으로 줄일 수 있는 방법은 무엇인가요?
• RQ2 LSTM 기반의 속도 예측은 분산 행렬 곱셈에서 작업 분배 정확도를 향상시키고 총 지연 시간을 줄이는 데 얼마나 기여할 수 있나요?
• RQ3 $S^2C^2$는 다양한 계산 워크로드에서 복제 작업과 전통적인 코딩된 계산보다 낮은 지연 시간을 달성할 수 있나요?
• RQ4 $S^2C^2$의 동적 작업 할당 전략은 실행 중 데이터 재분배 없이도 어떻게 성능을 유지할 수 있나요?
• RQ5 $S^2C^2$는 선형 대수 계산을 넘어서 반복적이고 그래프 기반 알고리즘으로의 확장성은 어느 정도인가요?

주요 결과

• 분산 행렬 곱셈에서 $S^2C^2$는 복제 및 전통적인 코딩된 계산과 비교해 총 계산 지연을 19%에서 39% 감소시킨다.
• LSTM 기반의 속도 예측 모델은 노드 실행 속도를 정확하게 추정할 수 있게 해 효과적인 작업 균형을 가능하게 한다.
• 실시간 속도 예측 기반으로 동적으로 작업을 할당함으로써 런타임 중 데이터 재분배가 필요 없음을 성공적으로 제거했다.
• $S^2C^2$의 성능 향상은 기울기 하강, 그래프 순위 매기기, 그래프 필터링 알고리즘을 포함한 다양한 워크로드에서 일관되게 유지된다.
• 여유 시간을 줄이는 메커니즘이 비효율적 시간과 중복 계산을 효과적으로 최소화하여 전체 시스템 효율성을 향상시킨다.
• 제안된 방법은 선형 대수를 넘어서 반복적이고 그래프 기반 계산 작업으로까지 확장 가능하며, 확장성과 적응성 모두 입증되었다.