[논문 리뷰] Resource Usage Estimation of Data Stream Processing Workloads in Datacenter Clouds

Alireza Khoshkbarforoushha, Rajiv Ranjan외 4명|arXiv (Cornell University)|2015. 01. 28.

Data Management and Algorithms참고 문헌 34인용 수 14

한 줄 요약

이 논문은 데이터 스트림 처리 워크로드에서 자원 사용의 전체 확률밀도함수(PDF)를 추정하기 위해 혼합 밀도 네트워크(MDN) 기반 접근법을 제안한다. 이는 단일 점 추정의 한계를 해결하기 위한 것으로, 시간에 따라 변화하는 다모달 자원 소비를 모델링함으로써 선형로드(Linear Road) 및 TPC-H 벤치마크에서 평균제곱오차와 부정적 로그예측밀도를 포함한 다양한 오차 지표에서 높은 정확도를 달성한다.

ABSTRACT

Real-time computation of data streams over affordable virtualized infrastructure resources is an important form of data in motion processing architecture. However, processing such data streams while ensuring strict guarantees on quality of services is problematic due to: (i) uncertain stream arrival pattern; (ii) need of processing different types of continuous queries; and (iii) variable resource consumption behavior of continuous queries. Recent work has explored the use of statistical techniques for resource estimation of SQL queries and OLTP workloads. All these techniques approximate resource usage for each query as a single point value. However, in data stream processing workloads in which data flows through the graph of operators endlessly and poses performance and resource demand fluctuations, the single point resource estimation is inadequate. Because it is neither expressive enough nor does it capture the multi-modal nature of the target data. To this end, we present a novel technique which uses mixture density networks, a combined structure of neural networks and mixture models, to estimate the whole spectrum of resource usage as probability density functions. The proposed approach is a flexible and convenient means of modeling unknown distribution models. We have validated the models using both the linear road benchmark and the TPC-H, observing high accuracy under a number of error metrics: mean-square error, continuous ranked probability score, and negative log predictive density.

연구 동기 및 목표

• 동적 데이터 스트림 처리 워크로드에서 단일 점 추정의 부족함을 해결하기 위해.
• 지속적인 쿼리 처리에서 자원 소비의 다모달성 및 시간에 따라 변화하는 성격을 모델링하기 위해.
• 전체 자원 사용 스펙트럼을 확률밀도함수로 포괄하는 유연하고 데이터 기반의 방법을 제공하기 위해.
• 실제 벤치마크를 사용하여 다각도의 오차 지표를 활용해 접근법을 검증하기 위해.

제안 방법

• 이 방법은 신경망과 가우시안 혼합 모델을 조합한 혼합 밀도 네트워크(MDN)를 사용하여 복잡한 다모달 자원 사용 분포를 모델링한다.
• 입력 특징으로는 스트림 도착률, 쿼리 유형, 오퍼레이터 구성이 포함되며, 이들이 MDN에 입력되어 자원 소비의 전체 PDF를 예측한다.
• 예측 가능성의 최대화를 위해 역전파를 사용하여 엔드 투 엔드로 훈련되며, 부정적 로그예측밀도를 최소화하도록 최적화된다.
• 모델은 시간에 따라 변화하는 CPU, 메모리, I/O 사용량의 전체 분포를 나타내는 가우시안 성분의 혼합을 출력한다.
• 점 추정이 아닌 확률적 예측을 제공하므로 불확실성 인식 자원 할당을 지원한다.
• 선형로드(Linear Road) 및 TPC-H 벤치마크에서 연속 순위 확률 점수(CRPS)를 포함한 다수의 오차 지표를 사용해 검증이 수행된다.

실험 결과

연구 질문

• RQ1 단일 점 추정에 비해 확률 모델이 데이터 스트림 처리에서 동적인 다모달 자원 사용 패턴을 더 잘 포착할 수 있는가?
• RQ2 혼합 밀도 네트워크(MDN)가 다양한 스트림 워크로드에서 자원 소비의 전체 분포를 얼마나 정확하게 예측할 수 있는가?
• RQ3 제안된 방법은 예측 정확도 및 불확실성 정량화 측면에서 기존의 점 추정 기법보다 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 스트림 도착 패턴과 쿼리 유형에서 MDN 기반 추정기는 얼마나 강건한가?

주요 결과

• MDN 기반 접근법은 선형로드(Linear Road) 및 TPC-H 벤치마크에서 단일 점 추정 방법에 비해 유의미하게 낮은 평균제곱오차(MSE)를 달성했다.
• 모델은 전체 분포 예측에서 높은 정확도를 보였으며, 낮은 연속 순위 확률 점수(CRPS)를 기록하여 예측 불확실성의 보다 우수한 校정을 나타냈다.
• 기준 방법보다 부정적 로그예측밀도(NLPD) 값이 일관되게 낮아, 개선된 확률적 예측 성능을 확인했다.
• 특히 변동성이 큰 워크로드와 다양한 쿼리 유형에서 다모달 자원 사용 패턴을 효과적으로 포착했다.
• 데이터 도착률과 쿼리 복잡도의 변화에 대해 잘 일반화되어 있어 다양한 스트림 처리 시나리오에서 강건함을 보였다.
• 결과적으로 자원 사용을 점 추정이 아닌 PDF로 모델링할 경우 클라우드 데이터센터에서 더 신뢰할 수 있고 표현력 있는 자원 예측이 가능하다는 점을 확인했다.