[論文レビュー] Resource Usage Estimation of Data Stream Processing Workloads in Datacenter Clouds

Alireza Khoshkbarforoushha, Rajiv Ranjan+4 more|arXiv (Cornell University)|Jan 28, 2015

Data Management and Algorithms参考文献 34被引用数 14

ひとこと要約

本稿では、データストリーム処理ワークロードにおけるリソース使用量の完全な確率密度関数（PDF）を推定するため、混合密度ネットワーク（MDN）に基づく手法を提案する。単一の点推定の限界を克服するもので、時間変動する多モードのリソース消費をモデル化することで、Linear RoadおよびTPC-Hベンチマークの両方で、平均二乗誤差や負の対数予測密度といった複数の誤差指標において高い精度を達成した。

ABSTRACT

Real-time computation of data streams over affordable virtualized infrastructure resources is an important form of data in motion processing architecture. However, processing such data streams while ensuring strict guarantees on quality of services is problematic due to: (i) uncertain stream arrival pattern; (ii) need of processing different types of continuous queries; and (iii) variable resource consumption behavior of continuous queries. Recent work has explored the use of statistical techniques for resource estimation of SQL queries and OLTP workloads. All these techniques approximate resource usage for each query as a single point value. However, in data stream processing workloads in which data flows through the graph of operators endlessly and poses performance and resource demand fluctuations, the single point resource estimation is inadequate. Because it is neither expressive enough nor does it capture the multi-modal nature of the target data. To this end, we present a novel technique which uses mixture density networks, a combined structure of neural networks and mixture models, to estimate the whole spectrum of resource usage as probability density functions. The proposed approach is a flexible and convenient means of modeling unknown distribution models. We have validated the models using both the linear road benchmark and the TPC-H, observing high accuracy under a number of error metrics: mean-square error, continuous ranked probability score, and negative log predictive density.

研究の動機と目的

• 動的で変化し続けるデータストリーム処理ワークロードにおける単一の点推定の不十分さを是正すること。
• 継続的クエリ処理におけるリソース消費の多モード的かつ時間変動的性質をモデル化すること。
• リソース使用量の全範囲を確率密度関数として捉える柔軟でデータ駆動型の手法を提供すること。
• 連続的で多様なストリームワークロードを想定した実世界ベンチマークを用いて、厳密な誤差指標によるアプローチの妥当性を検証すること。

提案手法

• 本手法は、ニューラルネットワークとガウス混合モデルを組み合わせた混合密度ネットワーク（MDN）を採用し、複雑で多モードのリソース使用量分布をモデル化する。
• 入力特徴にはストリーム到着レート、クエリタイプ、オペレータ設定が含まれ、これらがMDNに供給され、リソース消費の完全なPDFが予測される。
• 予測尤度を最小化するように、バックプロパゲーションを用いてエンドツーエンドでMDNを学習し、負の対数予測密度を最適化する。
• モデルは、時間経過に伴うCPU、メモリ、I/O使用量の完全な分布を表すガウス成分の混合を出力する。
• 点推定ではなく確率的予測を提供するため、不確実性を考慮したリソースプロビジョニングを可能にする。
• 連続的ランク確率スコア（CRPS）を含む複数の誤差指標を用いて、Linear RoadおよびTPC-Hベンチマークで検証が実施された。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルは、単一の点推定と比較して、データストリーム処理における動的で多モードのリソース使用パターンをよりよく捉えることができるか？
• RQ2 混合密度ネットワーク（MDN）は、多様なストリームワークロードにおけるリソース消費の完全な分布をどれほど正確に予測できるか？
• RQ3 提案手法は、予測精度および不確実性の定量化の観点から、従来の点推定技術を上回る性能を示すか？
• RQ4 異なるストリーム到着パターンやクエリタイプの下で、MDNベースの推定器はどれほど頑健であるか？

主な発見

• MDNベースの手法は、Linear RoadおよびTPC-Hベンチマークの両方で、単一の点推定法と比較して顕著に低い平均二乗誤差（MSE）を達成した。
• モデルは完全な分布の予測において高い精度を示し、連続的ランク確率スコア（CRPS）が低く、予測不確実性の良好なキャリブレーションを示した。
• 負の対数予測密度（NLPD）値は、ベースライン手法と比較して一貫して低く、改善された確率的予測性能を確認した。
• 本手法は、特に変動するワークロードや多様なクエリタイプ下でも、多モードのリソース使用パターンを効果的に捉えた。
• データ到着レートやクエリの複雑さの変動に対しても、異なるストリーム処理シナリオにわたり良好な一般化性能を示した。
• 結果から、リソース使用量を点推定ではなく確率密度関数（PDF）としてモデル化することで、クラウドデータセンターにおけるより信頼性が高く表現力に富んだリソース予測が可能になることが確認された。