[논문 리뷰] Optimal Resource Allocation for Serverless Queries

Anish Pimpley, Shuo Li외 8명|arXiv (Cornell University)|2021. 07. 19.

Cloud Computing and Resource Management참고 문헌 23인용 수 11

한 줄 요약

이 논문은 단일 쿼리 실행을 통해 자원-성능 데이터를 합성하는 새로운 시뮬레이터(AREPAS)를 사용하여 서버리스 분석 쿼리의 성능 특성 곡선(PCC)을 예측하는 기계학습 시스템인 TASQ를 제안한다. PCC를 단조 감소하는 지수 함수 곡선으로 모델링하고, 제약 조건이 부여된 손실 함수를 사용하는 그래프 신경망(GNN)을 활용함으로써, 자원 할당 범위 전반에서 쿼리 실행 시간의 정확한 점 예측 및 추세 예측을 가능하게 하여, 관측된 쿼리 및 새로운 쿼리 모두에서 예측의 중앙 오차가 22% 미만임을 달성한다.

ABSTRACT

Optimizing resource allocation for analytical workloads is vital for reducing costs of cloud-data services. At the same time, it is incredibly hard for users to allocate resources per query in serverless processing systems, and they frequently misallocate by orders of magnitude. Unfortunately, prior work focused on predicting peak allocation while ignoring aggressive trade-offs between resource allocation and run-time. Additionally, these methods fail to predict allocation for queries that have not been observed in the past. In this paper, we tackle both these problems. We introduce a system for optimal resource allocation that can predict performance with aggressive trade-offs, for both new and past observed queries. We introduce the notion of a performance characteristic curve (PCC) as a parameterized representation that can compactly capture the relationship between resources and performance. To tackle training data sparsity, we introduce a novel data augmentation technique to efficiently synthesize the entire PCC using a single run of the query. Lastly, we demonstrate the advantages of a constrained loss function coupled with GNNs, over traditional ML methods, for capturing the domain specific behavior through an extensive experimental evaluation over SCOPE big data workloads at Microsoft.

연구 동기 및 목표

• 사용자가 자원을 수십만 배 이상 잘못 할당하는 등 서버리스 쿼리 시스템에서 자원 할당이 비효율적인 문제를 해결하기 위해.
• 기존 실행 기록이 없는 신규 또는 임시 쿼리에 대해서도 다양한 자원 할당 범위에서 쿼리 성능을 정확히 예측하기 위해.
• 자원 할당의 감소 수익을 단순하고 파rameterized된 성능 특성 곡선(PCC)으로 모델링하기 위해.
• 단일 쿼리 실행을 통해 AREPAS 시뮬레이터를 활용해 실제적인 자원-성능 스카이라인을 합성함으로써 학습 데이터의 희소성 문제를 해결하기 위해.
• 단조성과 같은 도메인 특화 제약 조건을 통합하고 그래프 신경망(GNN)과 제약 손실 함수를 사용함으로써 기존 기계학습 방법보다 정확도를 향상시키기 위해.

제안 방법

• 자원 할당과 쿼리 실행 시간 간의 상호 관계를 모델링하기 위해, 파arameterized되고 단조 감소하는 함수로 성능 특성 곡선(PCC)을 도입한다.
• 자원 할당을 다양한 토큰 수로 시뮬레이션하여 단일 쿼리 실행으로부터 전체 PCC를 생성하는 새로운 데이터 증강 시뮬레이터 AREPAS를 개발한다.
• 두 개의 파rameter를 가진 거듭제곱 법칙 감소 함수를 사용하여 PCC를 모델링함으로써 단조성과 사용자에게 해석 가능한 성능 특성을 보장한다.
• 복잡한 도메인 특화 관계를 쿼리 특성과 성능 간에 포착하기 위해 제약 손실 함수를 적용한 그래프 신경망(GNN)을 활용하며, 기존 표준 기계학습 모델보다 뛰어난 성능을 보인다.
• 실제 역사적 데이터와 AREPAS에서 합성된 증강 데이터를 모두 사용하여, 새로운 쿼리에 대한 일반화 능력을 향상시킨다.
• 예측의 단조성을 강제하는 제약 손실 함수를 사용하여 모델 신뢰도를 향상시키고 실제 성능 추세와의 일치도를 높인다.

실험 결과

연구 질문

• RQ1 기존에 관측되지 않은 쿼리에 대해서도 광범위한 자원 할당 범위에서 기계학습 모델이 쿼리 실행 시간을 정확히 예측할 수 있는가?
• RQ2 단일 쿼리 기반 시뮬레이션(AREPAS)이 자원 할당 모델 학습을 위한 현실적인 성능 스카이라인을 효과적으로 합성하는가?
• RQ3 제약 손실 함수와 GNN이 기존 기계학습 모델에 비해 자원 할당의 감소 수익을 모델링할 때 예측 정확도를 얼마나 향상시키는가?
• RQ4 점 예측(특정 자원 할당)과 추세 예측(전체 자원 할당 범위) 간에 모델 성능은 어떻게 달라지는가?
• RQ5 GNN을 사용할 경우 단순한 신경망 대비 정확도, 추론 속도, 계산 비용 간의 상호 상충 관계는 어떠한가?

주요 결과

• TASQ는 기준 데이터에서 런타임 예측의 중앙절편오차(MAE)가 33%를 기록하며, XGBoost(53% MAE)를 크게 앞서며 전체 역사적 데이터로 학습된 모델의 성능과 유사하다.
• 제약 손실 함수를 적용한 GNN 모델은 모든 쿼리에 대해 추세 예측에서 22%의 중앙 오차를 기록하여 새로운 워크로드에 대한 강력한 일반화 능력을 입증한다.
• AREPAS는 효과적인 데이터 증강을 가능하게 하며, 각 쿼리에 대해 단 한 번의 실제 실행만으로도 전체 역사적 데이터로 학습된 모델과 유사한 성능을 달성한다.
• 제약 손실 함수를 적용한 GNN 모델은 점 예측과 추세 예측 모두에서 XGBoost와 표준 신경망을 능가하며, 런타임 예측의 MAE는 1.5배, 곡선 파rameter 예측의 MAE는 2배 낮게 기록한다.
• 제약 손실 함수는 단조성을 강제함으로써 모델의 신뢰도를 향상시키며, 실제 성능 추세와의 일치도를 높이고 사용자 해석 가능성을 향상시킨다.
• 사용자가 성능과 자원 사용량 간의 균형을 효과적으로 조정할 수 있도록 지원하며, 92%의 작업에서 토큰 사용량을 최대 50% 줄일 수 있고 성능 손실는 5% 이내로 유지할 수 있다.