[논문 리뷰] Opportunistic View Materialization with Deep Reinforcement Learning

Xi Liang, Aaron J. Elmore외 1명|arXiv (Cornell University)|2019. 03. 04.

Cloud Computing and Resource Management참고 문헌 30인용 수 22

한 줄 요약

이 논문은 주로 메모리 기반 OLAP 시스템에서 내부 조인 뷰의 기회적 물리화를 위한 딥 강화학습 프레임워크인 DQM을 제안한다. 유휴 시간 동안 이종 비정책 강화학습과 반사적 쌍실험을 사용하여 DQM은 히ュ리스틱이나 카디널리티 추정에 의존하지 않고 적응형 뷰 생성 및 제거 정책을 학습하며, 워크로드 변화에 동적으로 대응하면서도 근사 최적 기준과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Carefully selected materialized views can greatly improve the performance of OLAP workloads. We study using deep reinforcement learning to learn adaptive view materialization and eviction policies. Our insight is that such selection policies can be effectively trained with an asynchronous RL algorithm, that runs paired counter-factual experiments during system idle times to evaluate the incremental value of persisting certain views. Such a strategy obviates the need for accurate cardinality estimation or hand-designed scoring heuristics. We focus on inner-join views and modeling effects in a main-memory, OLAP system. Our research prototype system, called DQM, is implemented in SparkSQL and we experiment on several workloads including the Join Order Benchmark and the TPC-DS workload. Results suggest that: (1) DQM can outperform heuristic when their assumptions are not satisfied by the workload or there are temporal effects like period maintenance, (2) even with the cost of learning, DQM is more adaptive to changes in the workload, and (3) DQM is broadly applicable to different workloads and skews.

연구 동기 및 목표

• 동적 OLAP 워크로드에서 정적 또는 히ュ리스틱 기반 뷰 물리화의 한계를 해결하기 위해.
• 가정이나 히ュ리스틱에 의존하지 않고 실제 쿼리 실행 피드백에서 학습하는 데이터 기반의 적응형 뷰 선택을 가능하게 하기 위해.
• 강화학습을 통해 최적의 물리화 및 제거 정책을 학습함으로써 주로 메모리 기반 OLAP 시스템에서 쿼리 지연을 줄이기 위해.
• 강화학습이 명시적 워크로드 모델링이나 카디널리티 추정 없이도 뷰 관리 정책을 효과적으로 학습할 수 있는지 평가하기 위해.
• DQM이 시간적 이동과 다양한 데이터 비대칭성을 포함한 다양한 워크로드에서 유연하게 작동함을 입증하기 위해.

제안 방법

• DQM은 지연된 성능 피드백에 기반해 뷰 물리화 및 제거 정책을 학습하기 위해 비동기적 딥 Q-네트워크(DQN) 에이전트를 사용한다.
• 시스템은 유휴 기간 동안 쌍실험을 수행하여, 뷰를 물리화했을 때와 아닐 때의 쿼리 실행 시간을 비교함으로써 뷰 물리화의 한계적 이점을 추정한다.
• 현재 물리화된 뷰와 쿼리 특성을 포함하는 상태 표현을 사용하여 행동 선택을 지원한다.
• 에이전트는 뷰 사용 시 쿼리 실행 시간이 줄어든 정도를 기반으로 보상 신호를 사용하여 유익한 결정에 대한 책임 할당을 가능하게 한다.
• 탐색은 $ε$-그리디 스케줄링을 통해 관리되며, 초기 학습 이후 감소하여 정책을 안정화시킨다.
• 프레임워크는 SparkSQL에 구현되었으며, TPC-DS 및 조인 순서 벤치마크와 같은 실제 워크로드에서 평가되었다.

실험 결과

연구 질문

• RQ1 카디널리티 추정이나 수작업 히ュ리스틱에 의존하지 않고 강화학습이 효과적인 뷰 물리화 및 제거 정책을 학습할 수 있는가?
• RQ2 다양한 워크로드와 스토리지 제약 조건에서 DQM은 HAWC 및 Recycler와 같은 최첨단 히ュ리스틱 정책보다 어떻게 성능을 내는가?
• RQ3 DQM이 워크로드 변화와 쿼리 패턴의 시간적 이동에 얼마나 잘 적응하는가?
• RQ4 데이터 및 계산 오버헤드 측면에서 학습 과정은 얼마나 효율적인가?
• RQ5 DQM은 벨라디*와 같은 가상의 최적 오라클 정책에 얼마나 가까이 다가설 수 있는가?

주요 결과

• 히유리스틱 정책인 HAWC와 Recycler의 기본 가정이 위배되거나 워크로드에 시간적 역학성이 나타날 경우 DQM이 이들을 능가한다.
• 학습 및 탐색 비용을 포함하더라도, DQM은 조인 순서 벤치마크와 TPC-DS 워크로드 양쪽에서 히유리스틱 기준보다 누적 쿼리 실행 시간이 짧다.
• 학습 후 탐색을 비활성화했을 때 DQM은 약 15%의 성능 향상을 기록하여 높은 데이터 효율성과 빠른 수렴 능력을 보여준다.
• DQM은 완벽한 예측 능력을 가진 최적 오라클 정책인 벨라디*와 경쟁 가능한 성능을 달성하여 강력한 학습 능력을 입증한다.
• 시스템은 다양한 워크로드와 데이터 비대칭 분포에서도 유연하게 유지되어 광범위한 적용 가능성을 보여준다.
• 유휴 시간 동안 실시하는 쌍실험은 책임 할당을 위한 강력하고 신뢰할 수 있는 신호를 제공하며, 명시적 워크로드 모델링 없이도 효과적인 학습을 가능하게 한다.