[논문 리뷰] Challenges and approaches to time-series forecasting in data center telemetry: A Survey

Shruti Jadon, Jan Kanty Milczek외 1명|arXiv (Cornell University)|2021. 01. 11.

Time Series Analysis and Forecasting인용 수 10

한 줄 요약

이 종합 검토는 실세계 데이터셋을 사용하여 R² 및 추론 시간과 같은 지표로 성능을 비교함으로써 데이터 센터 텔레메트리용 11종의 시계열 예측 기법을 평가한다. 유일한 방법이 항상 승리하는 것은 아니지만, 딥러닝 모델(예: Bi-LSTM)은 낮은 추론 지연 시간을 유지하면서 가장 높은 정확도를 제공하며, STAR 및 FBProphet는 생산 환경에서 강력하고 빠르며 내구성이 뛰어난 대안을 제공한다.

ABSTRACT

Time-series forecasting has been an important research domain for so many years. Its applications include ECG predictions, sales forecasting, weather conditions, even COVID-19 spread predictions. These applications have motivated many researchers to figure out an optimal forecasting approach, but the modeling approach also changes as the application domain changes. This work has focused on reviewing different forecasting approaches for telemetry data predictions collected at data centers. Forecasting of telemetry data is a critical feature of network and data center management products. However, there are multiple options of forecasting approaches that range from a simple linear statistical model to high capacity deep learning architectures. In this paper, we attempted to summarize and evaluate the performance of well known time series forecasting techniques. We hope that this evaluation provides a comprehensive summary to innovate in forecasting approaches for telemetry data.

연구 동기 및 목표

• 데이터 센터 텔레메트리 워크로드에 특화된 포괄적인 시계열 예측 기법을 평가하고 벤치마킹하기.
• 다양한 예측 모델 간 정확도, 추론 속도, 계산 비용 간의 성능 트레이드오���을 규명하기.
• 지연, 데이터 볼륨, 예측 기간과 같은 시스템 제약 조건에 기반한 예측 모델 선택을 위한 실용적 가이드 제공하기.
• 텔레메트리 데이터의 동적이고 이질적인 특성으로 인해, 단일 오프더쉐프 모델이 항상 다른 모델을 압도하지는 않음을 입증하기.
• 모든 모델 간 일관된 다기간 예측을 가능하게 하는 통합형, 부트스트랩 기반, 임의의 길이 예측 생성기 제안하기.

제안 방법

• 이 연구는 부트스트랩된 잔차를 사용하여 단일 기간 예측을 단계적으로 수행하는 통합형 임의의 길이 예측 생성기를 활용하여 향후 여러 시나리오를 시뮬레이션하고 신뢰구간을 생성한다.
• 다섯 개인 실세계 텔레메트리 데이터셋을 기반으로 ARIMA, 홀트-윈터스(HWES), 페이스북 프로펫(FBP), STAR, GRU, LSTM, 딥-LSTM, Bi-LSTM, RNN 등 총 11종의 예측 모델을 벤치마킹한다.
• 평가에는 표준 지표인 결정계수(R²), 수정된 R²(lR²), 1,000점 및 5,000점 시퀀스에서의 추론 런타임(RT)을 사용한다.
• 다기간 예측을 위해 단일 단계 예측을 반복적으로 적용하며, 예측 결과를 다시 모델에 피드백한다. 신뢰구간은 부트스트랩된 잔차에서 유도된다.
• 모든 모델이 동일하게 처리되도록 프레임워크를 설계하여, 다단계 예측을 내재적으로 지원하는 모델조차도 단일 단계 예측 기능만을 사용한다.
• 벤치마크에는 다양한 데이터 소스가 포함된다: 커틴 네트워크 텔레메트리(플로우 크기, 플로우 수량), 점프너 네트워크 데이터, 트위터 시계열 데이터로, 다양한 데이터 볼륨과 특성을 포함한다.

실험 결과

연구 질문

• RQ1 고용량 데이터 센터 텔레메트리에 적합한 시계열 예측 모델 중에서 정확도(R²)와 추론 속도(RT) 사이의 최적 트레이드오프를 제공하는 것은 무엇인가?
• RQ2 복잡하고 비선형적인 텔레메트리 데이터 예측에서 전통적인 통계 모델(예: 홀트-윈터스, ARIMA)과 딥러닝 모델(예: Bi-LSTM, GRU) 간의 성능은 어떻게 비교되는가?
• RQ3 FBProphet 및 STAR와 같은 모델은 다양한 시계열 데이터셋(다양한 계절성과 노이즈 수준을 가짐)에 대해 얼마나 일반화되는가?
• RQ4 제안된 부트스트랩 기반, 단계적, 임의의 길이의 예측 생성기가 다양한 모델 간 일관성과 신뢰구간 유지에 얼마나 효과적인가?
• RQ5 딥러닝 모델은 커틴 데이터셋에서 관찰된 바와 같이 희박하거나 비정규적인 텔레메트리 데이터에 대해 과적합을 얼마나 잘 견뎌내는가?

주요 결과

• 딥 네트워크(예: Bi-LSTM, LSTM)는 가장 높은 R² 점수를 기록했으며, 점프너 데이터셋에서 최대 0.98까지 도달했고, 1,000점 시퀀스에서 Bi-LSTM의 경우 추론 시간이 0.114초로 낮게 유지되었다.
• STAR 및 STD는 가장 큰 데이터셋(Juniper)에서 가장 빠른 모델이었으며, 1,000점 시퀀스에서 추론 시간이 4초 이내였고, 심지어 FBProphet 및 홀트-윈터스보다도 빠르게 작동했다.
• 홀트-윈터스 지수평활화는 전반적으로 가장 빠르지만 트위터 데이터셋에서 심각한 과적합이 발생했으며(R² = -0.61) 비정상적이고 노이즈가 많은 데이터에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• FBProphet 및 STAR는 R² 및 lR² 측면에서 항상 상위 성능을 기록하여 '한 가지 솔루션으로 모든 상황을 해결할 수 있는' 예측 솔루션으로 강력한 후보로 부상했다.
• GRU 및 LSTM 모델은 통계 모델보다 훈련 시 10배 가량 느렸지만, 커틴 데이터셋에서 과적합에 대한 강건성을 보였으며, 복잡하고 실제 세계의 텔레메트리 데이터에 대해 강력한 성능을 보였다.
• 모든 데이터셋과 지표에서 유일한 모델이 우세하지는 않았으며, 최적의 선택은 지연, 데이터 볼륨, 필요 정확도와 같은 시스템 제약 조건에 따라 달라졌다.