[论文解读] Host Load Prediction with Bi-directional Long Short-Term Memory in Cloud Computing

Hengheng Shen, Xuehai Hong|arXiv (Cornell University)|Jul 23, 2020

Cloud Computing and Resource Management参考文献 20被引用 14

一句话总结

本文提出一种双向长短期记忆网络（BiLSTM）模型，用于云计算环境中多步预测主机负载。与传统方法不同，BiLSTM 能够捕捉负载序列中的过去和未来上下文信息，从而提升记忆能力和非线性建模能力。在为期一个月的 Google 数据中心追踪数据上评估，该方法在预测精度上优于 LSTM、LSTM-Encoder-Decoder 及其他先进模型。

ABSTRACT

Host load prediction is the basic decision information for managing the computing resources usage on the cloud platform, its accuracy is critical for achieving the servicelevel agreement. Host load data in cloud environment is more high volatility and noise compared to that of grid computing, traditional data-driven methods tend to have low predictive accuracy when dealing with host load of cloud computing, Thus, we have proposed a host load prediction method based on Bidirectional Long Short-Term Memory (BiLSTM) in this paper. Our BiLSTM-based apporach improve the memory capbility and nonlinear modeling ability of LSTM and LSTM Encoder-Decoder (LSTM-ED), which is used in the recent previous work, In order to evaluate our approach, we have conducted experiments using a 1-month trace of a Google data centre with more than twelve thousand machines. our BiLSTM-based approach successfully achieves higher accuracy than other previous models, including the recent LSTM one and LSTM-ED one.

研究动机与目标

• 为应对云主机负载数据中高波动性和噪声带来的挑战，这些因素限制了传统预测方法的精度。
• 通过利用能够捕捉复杂时间依赖关系的深度学习模型，提升云环境中负载预测的精度。
• 开发一种端到端的自适应模型，能够自动学习相关的历史上下文，而无需人工特征工程。
• 在真实世界云工作负载追踪数据上，评估模型在多种预测长度下的性能，并与最先进的方法进行比较。

提出的方法

• 所提出的方法使用双向长短期记忆（BiLSTM）网络对主机负载序列进行建模，捕捉时间序列中的过去和未来上下文信息。
• BiLSTM 同时从前向和后向两个方向处理序列，使模型能够比单向 RNN 更有效地学习长期依赖关系和动态波动。
• 模型在原始主机负载数据上进行端到端训练，无需手动提取特征，从而降低了预处理复杂度。
• 在大规模 Google 集群数据集上训练过程中，通过早停法和 Dropout 技术缓解过拟合问题。
• 该架构针对多步预测进行了优化，使其能够对不同时间范围内的负载趋势进行预测。
• 使用均方误差（MSE）及其累积分布函数（CDF）评估性能，全面展示所有测试机器的预测精度。

实验结果

研究问题

• RQ1 BiLSTM 模型能否在高波动性和噪声的云主机负载预测中超越标准 LSTM 和 LSTM-Encoder-Decoder 模型？
• RQ2 BiLSTM 中同时整合前向和后向上下文信息，相比单向模型，如何提升负载预测的准确性？
• RQ3 BiLSTM 模型的端到端特性在多大程度上减少了负载预测中对人工特征工程的依赖？
• RQ4 该模型在真实云工作负载中不同预测长度下的表现如何？
• RQ5 在生产数据中心中观察到的不同负载模式和噪声水平下，BiLSTM 模型是否仍能保持高精度？

主要发现

• 在包含超过 12,000 台机器的为期一个月的 Google 集群追踪数据上，BiLSTM 模型在预测精度上优于 LSTM、LSTM-Encoder-Decoder、基于 AR 和基于 ANN 的模型。
• MSE 值的 CDF 显示，与其它模型相比，BiLSTM 模型在误差 ≤ 0.025 的预测中占比显著更高，尤其在较长预测时间范围内表现更优。
• MSE 结果的箱线图证实，无论在何种预测长度下，BiLSTM 的中位数预测误差始终低于所有其他对比模型。
• 该模型在 CPU 和内存负载预测中均表现出色，即使在高度波动且无自相关性的负载追踪中也表现稳健。
• 结果验证了 BiLSTM 能够有效捕捉复杂的时间模式，并在多步预测负载预测中优于线性模型和浅层模型。
• 该模型的端到端设计消除了对外部特征工程的需求，简化了部署流程，同时保持了高精度。