[논문 리뷰] SafeLoad: Efficient Admission Control Framework for Identifying Memory-Overloading Queries in Cloud Data Warehouses

Yifan Wu, Yuhan Li외 9명|arXiv (Cornell University)|2026. 01. 05.

Cloud Computing and Resource Management인용 수 0

한 줄 요약

SafeLoad은 메모리 과부하 쿼리를 하이브리드 글로벌-클러스터 모델과 self-tuning 쿼터 메커니즘, 새로운 MO-라벨 벤치마크 SafeBench를 사용하여 식별하는 수용 제어 프레임워크입니다.

ABSTRACT

Memory overload is a common form of resource exhaustion in cloud data warehouses. When database queries fail due to memory overload, it not only wastes critical resources such as CPU time but also disrupts the execution of core business processes, as memory-overloading (MO) queries are typically part of complex workflows. If such queries are identified in advance and scheduled to memory-rich serverless clusters, it can prevent resource wastage and query execution failure. Therefore, cloud data warehouses desire an admission control framework with high prediction precision, interpretability, efficiency, and adaptability to effectively identify MO queries. However, existing admission control frameworks primarily focus on scenarios like SLA satisfaction and resource isolation, with limited precision in identifying MO queries. Moreover, there is a lack of publicly available MO-labeled datasets with workloads for training and benchmarking. To tackle these challenges, we propose SafeLoad, the first query admission control framework specifically designed to identify MO queries. Alongside, we release SafeBench, an open-source, industrial-scale benchmark for this task, which includes 150 million real queries. SafeLoad first filters out memory-safe queries using the interpretable discriminative rule. It then applies a hybrid architecture that integrates both a global model and cluster-level models, supplemented by a misprediction correction module to identify MO queries. Additionally, a self-tuning quota management mechanism dynamically adjusts prediction quotas per cluster to improve precision. Experimental results show that SafeLoad achieves state-of-the-art prediction performance with low online and offline time overhead. Specifically, SafeLoad improves precision by up to 66% over the best baseline and reduces wasted CPU time by up to 8.09x compared to scenarios without SafeLoad.

연구 동기 및 목표

• 클라우드 데이터 웨어하우스에서 메모리 과부하를 자원 고갈 문제로 다룬다.
• 높은 정밀도, 해석 가능성, 효율성, 적응성을 갖춘 수용 제어 프레임워크를 제공하여 메모리 과부하 쿼리(MO 쿼리)를 탐지한다.
• 실제 워크로드 데이터를 사용한 산업 규모의 오픈 벤치마크(SafeBench)를 공개하여 MO-쿼리 탐지 학습 및 벤치마킹을 가능하게 한다.

제안 방법

• 해석 가능하고 구분 규칙을 통해 메모리 안전 쿼리를 필터링한다.
• 글로벌 모델과 클러스터 수준 모델을 결합한 하이브리드 아키텍처를 사용한다.
• MO-쿼리 식별을 다듬기 위해 오판 보정 모듈을 도입한다.
• 클러스터별 예측 쿼터를 동적으로 조정하는 self-tuning 쿼터 관리 메커니즘을 적용한다.
• 높은 예측 정밀도를 유지하면서 온라인 및 오프라인 오버헤드를 낮추는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 쿼리 특징과 워크로드 맥락을 기반으로 MO 쿼리를 클라우드 데이터 웨어하우스에서 얼마나 정확하게 식별할 수 있는가?
• RQ2 글로벌-플러스-클러스터 모델링 접근 방식이 기저선보다 MO-쿼리 탐지에 개선을 가져오는가?
• RQ3 자체 조정 쿼터 메커니즘이 클러스터 간 정밀도와 자원 활용을 향상시킬 수 있는가?
• RQ4 SafeLoad가 낭비된 CPU 시간과 전체 시스템 효율성에 미치는 영향은 무엇인가?
• RQ5 SafeBench와 같은 대규모 라벨링 MO-쿼리 벤치마크에서 SafeLoad의 성능은 어떠한가?

주요 결과

• SafeLoad는 온라인 및 오프라인 시간 오버헤드를 낮추며 최첨단 예측 성능을 달성한다.
• 최고 벤치마크 대비 정밀도 향상이 최대 66%이다.
• SafeLoad가 없던 경우에 비해 낭비된 CPU 시간이 최대 8.09배 감소한다.