[论文解读] Challenges and approaches to time-series forecasting in data center telemetry: A Survey

Shruti Jadon, Jan Kanty Milczek+1 more|arXiv (Cornell University)|Jan 11, 2021

Time Series Analysis and Forecasting被引用 10

一句话总结

本综述评估了11种时间序列预测技术在数据中心遥测中的表现，基于真实数据集使用R²和推理时间等指标进行比较。结果表明，没有单一方法在所有场景下均表现最优，但深度学习模型（如Bi-LSTM）在保持低推理延迟的同时提供了最佳精度，而STAR和FBProphet则为生产环境提供了强大、快速且稳健的替代方案。

ABSTRACT

Time-series forecasting has been an important research domain for so many years. Its applications include ECG predictions, sales forecasting, weather conditions, even COVID-19 spread predictions. These applications have motivated many researchers to figure out an optimal forecasting approach, but the modeling approach also changes as the application domain changes. This work has focused on reviewing different forecasting approaches for telemetry data predictions collected at data centers. Forecasting of telemetry data is a critical feature of network and data center management products. However, there are multiple options of forecasting approaches that range from a simple linear statistical model to high capacity deep learning architectures. In this paper, we attempted to summarize and evaluate the performance of well known time series forecasting techniques. We hope that this evaluation provides a comprehensive summary to innovate in forecasting approaches for telemetry data.

研究动机与目标

• 评估并基准测试一套专为数据中心遥测工作负载定制的全面时间序列预测技术。
• 识别不同预测模型在准确性、推理速度和计算成本之间的性能权衡。
• 根据系统约束（如延迟、数据量和预测范围）提供选择预测模型的实用指南。
• 证明由于遥测数据的动态性和异构性，没有一种现成模型能普遍优于其他模型。
• 提出一种统一的、基于自举法的、可任意长度的预测生成器，以实现在不同模型间的一致性多周期预测。

提出的方法

• 该研究采用统一的任意长度预测生成器，通过使用自举残差的逐步单周期预测来模拟多种未来情景，并生成置信区间。
• 在五个真实世界的遥测数据集上对11种预测模型（ARIMA、Holt-Winters（HWES）、Facebook Prophet（FBP）、STAR、GRU、LSTM、Deep-LSTM、Bi-LSTM和RNN）进行基准测试。
• 评估使用标准指标：决定系数（R²）、调整后R²（lR²）以及在1,000点和5,000点序列上的推理运行时间（RT）。
• 对于多周期预测，该方法通过迭代应用单步预测实现，将预测结果反馈回模型，置信区间则来自自举残差。
• 该框架通过仅使用所有模型的单步预测能力，确保了统一的比较标准，即使对于原生支持多步预测的模型也是如此。
• 基准测试涵盖多种数据源：Curtin网络遥测（流量大小、流量计数）、Juniper网络数据和Twitter时间序列，覆盖不同数据量和特征。

实验结果

研究问题

• RQ1 哪些时间序列预测模型在高容量数据中心遥测中实现了准确性（R²）与推理速度（RT）的最佳权衡？
• RQ2 传统统计模型（如Holt-Winters、ARIMA）与深度学习模型（如Bi-LSTM、GRU）在预测复杂非线性遥测数据方面表现如何？
• RQ3 FBProphet和STAR等模型在具有不同周期性和噪声水平的多样化遥测数据集中泛化能力如何？
• RQ4 所提出的基于自举法的、逐步的、可任意长度的预测生成器在不同模型间保持一致性和置信区间方面有多有效？
• RQ5 深度学习模型在稀疏或不规则的遥测数据（如Curtin数据集）上是否能有效抵抗过拟合？

主要发现

• 深度神经网络（如Bi-LSTM、LSTM）在R²指标上表现最佳——在Juniper数据集上最高达到0.98，同时保持了较低的推理时间（例如，Bi-LSTM在1,000个点上的推理时间为0.114秒）。
• STAR和STD在最大数据集（Juniper）上速度最快，1,000点序列的推理时间均低于4秒，甚至优于FBProphet和Holt-Winters。
• Holt-Winters指数平滑是整体上最快的模型，但在Twitter数据集上严重过拟合（R² = -0.61），表明其在噪声大、非平稳数据上的泛化能力差。
• FBProphet和STAR在R²和lR²指标上始终位居前列，使其成为“一招鲜”预测解决方案的有力候选。
• GRU和LSTM模型在训练阶段比统计模型慢最多10倍，但在Curtin数据集上表现出对过拟合的强抵抗能力，表明其在复杂真实遥测数据上的鲁棒性。
• 没有单一模型在所有数据集和指标上全面占优；最佳选择取决于延迟、数据量和所需精度等系统约束。