[논문 리뷰] Buffer Pool Aware Query Scheduling via Deep Reinforcement Learning

Chi Zhang, Ryan Marcus외 2명|arXiv (Cornell University)|2020. 07. 21.

Cloud Computing and Resource Management참고 문헌 2인용 수 10

한 줄 요약

이 논문은 딥 강화학습 기반 쿼리 스케줄러인 SmartQueue를 제안한다. SmartQueue는 버퍼 풀 히트를 최대화하고 디스크 I/O를 최소화하기 위해 쿼리 실행 순서를 최적화한다. 딥 Q-학습을 통해 워크로드 특화 스케줄링 정책을 학습함으로써, SmartQueue는 미리보지 않은 쿼리에서 64%의 버퍼 히트 비율을 달성한다. 이는 FCFS 및 게으른 히وري스틱보다 유의미하게 뛰어나며, 각각 11%와 22% 낮은 지연 시간을 기록한다.

ABSTRACT

In this extended abstract, we propose a new technique for query scheduling with the explicit goal of reducing disk reads and thus implicitly increasing query performance. We introduce SmartQueue, a learned scheduler that leverages overlapping data reads among incoming queries and learns a scheduling strategy that improves cache hits. SmartQueue relies on deep reinforcement learning to produce workload-specific scheduling strategies that focus on long-term performance benefits while being adaptive to previously-unseen data access patterns. We present results from a proof-of-concept prototype, demonstrating that learned schedulers can offer significant performance improvements over hand-crafted scheduling heuristics. Ultimately, we make the case that this is a promising research direction at the intersection of machine learning and databases.

연구 동기 및 목표

• 나쁜 캐시 활용도로 인해 과도한 디스크 읽기를 유발하는 데이터베이스 시스템에서의 비효율적 쿼리 스케줄링 문제를 해결한다.
• 단기적 이익과 장기적 캐시 효율성 간의 균형을 이루지 못하는 정적 히وري스틱의 한계를 극복한다.
• 진행 중인 데이터 액세스 패턴과 버퍼 상태에 따라 동적으로 반응하는 학습된, 적응형 스케줄러를 개발한다.
• 실제 데이터베이스 워크로드에서 강화학습이 수작업으로 만든 히وري스틱보다 뛰어난 스케줄링 정책을 생성할 수 있음을 입증한다.
• 기존 버퍼 관리 정책을 수정하지 않고도 캐시 히트 비율을 향상시키는 지능적인 쿼리 순서 정렬을 가능하게 한다.

제안 방법

• 현재 버퍼 풀 상태와 예상 쿼리 읽기 수를 기반으로 쿼리 실행 순서를 선택하는 스케줄러 에이전트를 딥 Q-학습을 통해 훈련시킨다.
• 딥 강화학습 에이전트의 입력 특징으로 버퍼 상태와 쿼리 읽기 패턴을 표현하여, 상태-행동 가치 추정을 가능하게 한다.
• 즉각적인 버퍼 히트와 장기적 캐시 효율성 간의 균형을 맞추기 위해 보상 함수를 설계하여, 게으른 선택이 아닌 전략적 스케줄링을 장려한다.
• 에이전트를 쿼리 워크로드의 시퀀스에 대해 훈련시켜, 시행착오 상호작용을 통해 최적의 스케줄링 정책을 학습하도록 한다.
• 입력 상태를 액션 값으로 매핑하는 Q-값 함수를 근사하기 위해 완전히 연결된 신경망을 사용한다.
• 쿼리 실행 계획과 현재 버퍼 풀 상태만을 입력으로 요구하는 프로토타입 DBMS 파이프라인에 스케줄러를 통합한다.

실험 결과

연구 질문

• RQ1 학습된 쿼리 스케줄러는 FCFS 및 게으른 스케줄링과 같은 전통적 히وري스틱보다 디스크 I/O를 줄이기 위해 버퍼 히트 비율을 향상시키는 데 성공할 수 있는가?
• RQ2 딥 강화학습은 단기적인 시각을 넘어서 장기적인 캐시 이점을 모델링할 수 있는가?
• RQ3 학습 기간에 존재하지 않은 새로운 쿼리 템플릿에 대해 DRL 기반 스케줄러는 얼마나 잘 일반화되는가?
• RQ4 학습 오버헤드와 런타임 성능 향상 사이의 상충 관계는 어떠한가?
• RQ5 동적 워크로드에서 즉각적인 캐시 히트와 미래의 캐시 효율성 간의 균형을 맞추기 위해 보상 함수는 어떻게 설계할 수 있는가?

주요 결과

• SmartQueue는 950개의 쿼리에 대해 훈련한 후, 훈련되지 않은 쿼리 템플릿에서 버퍼 히트 비율을 0.2에서 0.64로 끌어올렸다.
• 500개 미만의 쿼리 스케줄링 이후에도 SmartQueue는 FCFS 및 게으른 히وري스틱 모두를 버퍼 히트 비율에서 앞서갔다.
• 미리보지 않은 쿼리에서의 쿼리 실행 지연 시간은 FCFS 대비 11% 감소했고, 게으른 스케줄링 대비 22% 감소했다.
• SmartQueue의 추론 시간은 1회의 스케줄링 결정당 3.12초였으며, 성능 향상 수준를 감안하면 수용 가능한 수준이었다.
• 학습 오버헤드는 평균적으로 쿼리당 3.95분이었지만, 오프로딩, 조기 정지 또는 전이 학습을 통해 최적화될 수 있었다.
• 결과적으로 학습된 스케줄러가 새로운 쿼리 패턴으로 일반화되며 정적 히وري스틱보다 뚜렷한 성능 향상을 이끌 수 있음을 입증했다.