[논문 리뷰] Task Allocation for Distributed Stream Processing

Raphael Eidenbenz, Thomas Locher|arXiv (Cornell University)|2016. 01. 22.

Cloud Computing and Resource Management참고 문헌 15인용 수 5

한 줄 요약

이 논문은 분산 스트림 처리에서 작업 할당 문제를 NP-난이도 최적화 문제로 공식화하고, 순서-병렬 분해가 가능한 그래프에 대해 다항 시간 근사 알고리즘을 제안한다. 통신 비용이 계산 비용에 비해 지배적일 때이고 자원 수가 작업 수에 대해 로그 스케일로 증가할 때, 이 알고리즘은 일정 요소 근사값을 달성한다.

ABSTRACT

There is a growing demand for live, on-the-fly processing of increasingly large amounts of data. In order to ensure the timely and reliable processing of streaming data, a variety of distributed stream processing architectures and platforms have been developed, which handle the fundamental tasks of (dynamically) assigning processing tasks to the currently available physical resources and routing streaming data between these resources. However, while there are plenty of platforms offering such functionality, the theory behind it is not well understood. In particular, it is unclear how to best allocate the processing tasks to the given resources. In this paper, we establish a theoretical foundation by formally defining a task allocation problem for distributed stream processing, which we prove to be NP-hard. Furthermore, we propose an approximation algorithm for the class of series-parallel decomposable graphs, which captures a broad range of common stream processing applications. The algorithm achieves a constant-factor approximation under the assumptions that the number of resources scales at least logarithmically with the number of computational tasks and the computational cost of the tasks dominates the cost of communication.

연구 동기 및 목표

• 분산 스트림 처리에서 작업 할당 문제를 이론적 최적화 문제로 공식 정의한다.
• 조금만 제한된 순서-병렬 그래프 클래스에 대해서조차도 작업 할당 문제의 NP-난이도를 입증한다.
• 실제 계산 및 통신 비용 가정 하에 근사 최적 성능을 보장하는 근사 알고리즘을 개발한다.
• 실제 스트림 처리 플랫폼에서 작업 할당 최적화를 위한 이론적 기반을 마련한다.
• 일般적인 방향성 있는 비순환 스트림 토폴로지에 대해 유한한 근사 비율을 달성할 수 있는지 탐색한다.

제안 방법

• 스트림 토폴로지를 방향성 있는 비순환 그래프(DAG)로 모델링하며, 노드는 계산 작업을 나타내고 간선은 데이터 흐름을 나타낸다.
• 노드에 가중치를 할당하여 계산 비용을 표현하며, 각 데이터 항목에 대해 동일하고 독립적인 처리 노력이 가정된다.
• 일반적인 스트림 처리 워크로드에서 순차적 및 병렬 처리 패턴을 반영하기 위해 순서-병렬 분해가 가능한 그래프의 클래스를 도입한다.
• 순서-병렬 그래프의 구조적 특성을 활용하여 총 처리 비용을 최소화하는 근사 알고리즘을 제안한다.
• 계산 비용이 통신 비용에 지배적일 것이라는 가정 하에, 근사 비율을 $\mathcal{O}(n^{\mathcal{O}(1/c)})$로 유도하며, $c \in \Omega(\log n)$일 경우 상수 요소로 감소한다.
• 하위 그래프의 순서적 및 병렬 조합을 기반으로 하는 재귀적 분해 전략을 활용해 작업 배치 결정을 이끌어낸다.

실험 결과

연구 질문

• RQ1 분산 스트림 처리의 작업 할당 문제는 순서-병렬 그래프로 제한된 경우에도 NP-난이도인가?
• RQ2 실제 비용 가정 하에 작업 할당에 대해 일정 요소 근사가 달성 가능한가?
• RQ3 제안된 알고리즘의 근사 비율은 무엇이며, 가용 자원 수와 작업 수에 따라 어떻게 달라지는가?
• RQ4 스트림 토폴로지 크기와 자원 가용성에 따라 알고리즘의 성능은 어떻게 스케일링되는가?
• RQ5 일반적인 방향성 있는 비순환 스트림 토폴로지에서 작업 할당에 대해 어떤 이론적 보장이 가능할 수 있는가?

주요 결과

• 분산 스트림 처리의 작업 할당 문제는 스트림 토폴로지가 순서-병렬 그래프로 제한된 경우조차도 NP-난이도임이 증명되었다.
• 제안된 근사 알고리즘은 물리적 자원 수 $c$가 작업 수 $n$에 대해 최소 로그 스케일로 증가할 경우 최적 해에 대해 일정 요소 근사값을 달성한다.
• 계산 비용이 통신 비용에 지배적일 것이라는 가정 하에, 알고리즘의 근사 비율은 $\mathcal{O}(n^{\mathcal{O}(1/c)})$로 유한하게 제한되며, $c \in \Omega(\log n)$일 경우 상수 요소로 감소한다.
• 이 알고리즘은 순서-병렬 분해가 가능한 그래프에 특별히 설계되었으며, 실용적인 스트림 처리 응용의 광범위한 범위를 반영한다.
• 이 연구에서 확립된 이론적 기반은 작업 할당 전략의 철저한 분석을 가능하게 하여, 분산 스트림 처리 시스템에 대한 이해의 격차를 메운다.
• 결과적으로 최적 또는 근사 최적의 작업 할당이 실세계 스트림 워크로드의 상당한 클래스에 대해 다항 시간 내에 달성 가능하다는 것이 시사된다.