[논문 리뷰] Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning

Xiang Ni, Jing Li외 3명|arXiv (Cornell University)|2019. 11. 19.

Caching and Content Delivery참고 문헌 26인용 수 4

한 줄 요약

이 논문은 스트림 처리 시스템에서 일반화 가능한 자원 할당을 위한 그래프 인식 딥 강화학습(DRL) 프레임워크를 제안한다. 구조적 특성을 캡처하기 위해 그래프 임베딩을 활용하고, 맥락 인식 디코더를 통해 장치 할당을 생성함으로써, 훈련 중에 볼 수 없었던 스트림 그래프의 70%에서 METIS 및 LSTM 기반 베이스라인을 능가하며, 새로운 구조에 대한 강력한 일반화 성능을 입증한다.

ABSTRACT

This paper considers the problem of resource allocation in stream processing, where continuous data flows must be processed in real time in a large distributed system. To maximize system throughput, the resource allocation strategy that partitions the computation tasks of a stream processing graph onto computing devices must simultaneously balance workload distribution and minimize communication. Since this problem of graph partitioning is known to be NP-complete yet crucial to practical streaming systems, many heuristic-based algorithms have been developed to find reasonably good solutions. In this paper, we present a graph-aware encoder-decoder framework to learn a generalizable resource allocation strategy that can properly distribute computation tasks of stream processing graphs unobserved from training data. We, for the first time, propose to leverage graph embedding to learn the structural information of the stream processing graphs. Jointly trained with the graph-aware decoder using deep reinforcement learning, our approach can effectively find optimized solutions for unseen graphs. Our experiments show that the proposed model outperforms both METIS, a state-of-the-art graph partitioning algorithm, and an LSTM-based encoder-decoder model, in about 70% of the test cases.

연구 동기 및 목표

• 학습 중에 볼 수 없는 다양한 그래프 구조를 가진 스트림 처리 시스템에서 일반화 가능한 자원 할당 문제를 해결한다.
• METIS와 같은 히ュ리스틱 기반 그래프 분할 도구의 한계를 극복한다. 이는 최적의 분할 수 선택에 어려움을 겪고 다양한 그래프 구조 간 일반화 능력이 떨어지기 때문이다.
• 스트림 처리 DAG의 연산자-장치 매핑을 위한 이식 가능한 정책을 학습하는 딥 강화학습 모델을 개발한다.
• 구조적 상태 표현을 통해 계산 워크로드, 통신 비용, 장치 로드 밸런싱 간의 복잡한 종속성을 포착한다.
• 재학습 없이도 훈련 중에 볼 수 없었던 스트림 그래프에 일반화 가능한 자원 할당 정책을 엔드 투 엔드로 학습할 수 있도록 한다.

제안 방법

• 스트림 처리 그래프의 구조적 특성과 워크로드 특성을 캡처하는 노드 수준 및 전반적인 그래프 임베딩을 학습하기 위해 그래프 인코딩 기반의 그래프 어텐션 네트워크(GAT)를 활용한 그래프 오토인코더를 적용한다.
• 현재 부분 할당과 전반적인 그래프 표현에 주의를 기울이며, 연산자 간 종속성을 모델링하는 그래프 인식 디코더를 설계하여 장치 할당을 순차적으로 생성한다.
• 자원 할당 문제를 DRL에서의 순차적 의사결정 과정으로 설정하며, 에이전트가 한 번에 하나의 연산자에 대해 장치 할당을 선택하여 장기적 처리량을 최대화한다.
• 로드 분포 균형과 장치 간 통신 비용 최소화를 동시에 고려한 밀도 높은 보상 함수를 사용하여, 인코더-디코더 모델을 함께 훈련한다.
• 시뮬레이션된 스트림 처리 워크로드에서의 성능 피드백에 기반해 정책 그래디언트 방법(PPO 또는 A3C 등)을 사용하여 에이전트의 전략을 최적화한다.
• 학습 과정을 안내하기 위해 그래프 수준의 전반적 특성, 예를 들어 핵심 경로 길이와 총 통신 비용을 상태 표현에 통합한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 다양한 훈련 중에 볼 수 없는 스트림 처리 그래프 구조에 대해 일반화 가능한 자원 할당 정책을 학습할 수 있는가?
• RQ2 수작업 또는 순차적 특성에 비해 그래프 임베딩은 스트림 그래프의 구조적 특성과 워크로드 특성을 얼마나 효과적으로 표현하는가?
• RQ3 표준 시퀀스-투-시퀀스 모델에 비해 그래프 인식 디코더는 연산자 간 배치 간 종속성 모델링에 얼마나 뛰어난가?
• RQ4 제안된 DRL 기반 접근법은 METIS나 순차 기반 모델에 비해 관측되지 않은 그래프에서 더 나은 일반화 성능을 보이는가?
• RQ5 그래프 임베딩과 DRL 정책의 공동 훈련은 실시간 스트림 처리에서 로드 균형과 통신 최소화를 얼마나 효과적으로 달성하는가?

주요 결과

• 제안된 DRL 프레임워크는 훈련 중에 볼 수 없는 스트림 그래프에서 70%의 테스트 케이스에서 METIS 그래프 분할 라이브러리를 능가하며, 뛰어난 일반화 성능을 입증한다.
• 관측되지 않은 그래프의 70%에서 LSTM 기반 인코더-디코더 베이스라인보다 더 높은 시스템 처리량을 달성하여, 그래프 인식 모델링의 우수성을 입증한다.
• 그래프 임베딩은 스트림 처리 그래프의 구조적 특성과 워크로드 관련 특성을 효과적으로 캡처하여, 순차적 또는 수작업 특성에 비해 더 나은 상태 표현을 가능하게 한다.
• 그래프 인식 디코더는 표준 시퀀스 모델에 비해 연산자 간 종속성과 장치 할당 제약 조건의 모델링 성능을 크게 향상시킨다.
• 그래프 인코더와 DRL 정책의 공동 훈련을 통해, 재학습 없이도 다양한 그래프 구조에 일반화 가능한 전이 가능한 전략을 학습할 수 있다.
• 이 프레임워크는 작업량 분포 균형과 장치 간 통신 최소화를 성공적으로 달성하여, 실시간 스트림 처리 워크로드에서 더 높은 종단 간 처리량을 제공한다.