[논문 리뷰] Auto-tuning Distributed Stream Processing Systems using Reinforcement Learning

Luis M. Vaquero, Félix Cuadrado|arXiv (Cornell University)|2018. 09. 14.

Data Stream Mining Techniques참고 문헌 40인용 수 14

한 줄 요약

이 논문은 강화학습(RL) 기반의 자동 튜닝 시스템을 제안하며, 분산 스트림 처리 워크로드에 대해 인간의 개입을 최소화하면서도 학습된 이력 워크로드를 기반으로 최적의 구성 레버(예: 메모리, 배치 크기)를 자동으로 선택한다. 이 시스템은 수십 분 내로 인간이 튜닝한 설정보다 60–70% 낮은 지연 시간을 달성한다.

ABSTRACT

Fine tuning distributed systems is considered to be a craftsmanship, relying on intuition and experience. This becomes even more challenging when the systems need to react in near real time, as streaming engines have to do to maintain pre-agreed service quality metrics. In this article, we present an automated approach that builds on a combination of supervised and reinforcement learning methods to recommend the most appropriate lever configurations based on previous load. With this, streaming engines can be automatically tuned without requiring a human to determine the right way and proper time to deploy them. This opens the door to new configurations that are not being applied today since the complexity of managing these systems has surpassed the abilities of human experts. We show how reinforcement learning systems can find substantially better configurations in less time than their human counterparts and adapt to changing workloads.

연구 동기 및 목표

• 매우 넓은 구성 공간과 동적인 워크로드로 인해 수작업 튜닝이 시간이 오래 걸리고 실수가 많아지는 복잡한 분산 스트림 처리 시스템의 도전 과제를 해결하기 위해.
• Spark Streaming과 같은 스트리밍 엔진의 최적 구성 레버(예: 메모리, 배치 크기)를 자동으로 선택하여 엄격한 서비스 수준 목표(SLO)를 충족시키기 위해.
• 워크로드 패턴과 성능 메트릭을 기반으로 학습하는 데이터 기반의 적응형 시스템으로 수동 튜닝을 대체함으로써 전문 지식 의존도를 줄이기 위해.
• 워크로드 변화에 실시간으로 적응하고 클러스터 재시작이나 인간 재구성 없이도 낮은 지연 시간을 유지하기 위해.
• 강화학습이 고차원 구성 공간을 효과적으로 탐색하여 인간 전문가보다 빠르게 열등한 구성보다 우수한 구성으로 도달할 수 있음을 입증하기 위해.

제안 방법

• 다양한 합성 및 실세계 워크로드(예: 포아송 분포 이벤트 도착, 사다리꼴 부하 패턴 포함) 하에서 수천 개의 Spark Streaming 클러스터에서 학습 데이터를 수집한다.
• 감독 학습을 통해 성능 메트릭(예: 처리 지연 시간)과 구성 레버 간의 상관관계를 식별한다.
• 특성 선택 및 메트릭-레버 연관 기법을 적용하여 차원을 감소시키고 영향력 있는 구성 파rameter에 집중한다.
• 지속적인 구성 파rameter(예: 메모리 크기, 배치 간격)를 RL 입력용 유한한 행동 가능한 값 집합으로 이산화한다.
• 관측된 성능에 기반해 구성 변경을 권장하는 강화학습 에이전트를 적용하며, 초모수 f를 통해 탐색과 이용의 균형을 조절한다.
• 기대 성능를 추정하고 RL 정책을 안내하기 위해 가우시안 프로세스 모델(GPMs)을 서피스 모델로 사용하며, 가치 네트워크를 활용해 장기 수익을 추정한다.

실험 결과

연구 질문

• RQ1 강화학습이 분산 스트림 처리 시스템의 고차원 구성 공간을 효과적으로 탐색하여 인간보다 우수한 구성 설정을 찾을 수 있는가?
• RQ2 인간 전문가의 수작업 튜닝에 비해 RL 기반 시스템이 얼마나 빨리 최적의 구성 설정에 수렴하는가?
• RQ3 변동하는 워크로드에 대해 시스템이 얼마나 잘 적응하며, 낮은 처리 지연 시간을 유지할 수 있는가?
• RQ4 스트림 워크로드에서 지연 시간 SLO 이행에 가장 예측 가능한 성능 메트릭과 구성 레버는 무엇인가?
• RQ5 구성 변경 시 클러스터 재시작이 줄어들 수 있는가? 이를 최소화하기 위한 대안은 무엇인가?

주요 결과

• RL 기반 자동 튜닝 시스템은 인간 엔지니어가 선택한 설정보다 처리 지연 시간을 60–70% 낮추며, SLO 이행률을 크게 향상시킨다.
• 시스템은 최적의 구성 설정에 수십 분 내로 수렴하여 수작업 방법에 비해 튜닝에 소요되는 시간을 극적으로 단축시킨다.
• 시스템은 초기 학습 에피소드에서 드라이버 메모리와 배치 크기와 같은 고영향력 레버를 성공적으로 식별하고 조정하여 상당한 성능 향상을 이룬다.
• 관련 메트릭과 레버에 집중함으로써 구성 공간의 차원을 효과적으로 감소시켜 고차원 환경에서 RL 적용 가능성을 확보한다.
• 시스템은 변화하는 워크로드에 대해 강력한 적응성을 보이며, 수동 재구성 없이도 낮은 지연 시간을 유지한다.
• 가우시안 프로세스 모델과 가치 네트워크의 사용은 구성 공간의 복잡성에도 불구하고 안정적이고 확장 가능한 학습을 가능하게 한다.