[논문 리뷰] Host Load Prediction with Bi-directional Long Short-Term Memory in Cloud Computing

Hengheng Shen, Xuehai Hong|arXiv (Cornell University)|2020. 07. 23.

Cloud Computing and Resource Management참고 문헌 20인용 수 14

한 줄 요약

이 논문은 클라우드 컴퓨팅 환경에서 다단계 앞서 예측하는 호스트 로드 예측을 위해 양방향 장단기 기억망(BiLSTM) 모델을 제안한다. 기존의 방법들과 달리 BiLSTM은 로드 시계열에서 과거와 미래의 맥락을 모두 포착하여 기억력과 비선형 모델링 능력을 향상시킨다. 1개월 분량의 구글 데이터센터 트레이스를 대상으로 평가한 결과, LSTM, LSTM-Encoder-Decoder 및 기타 최첨단 모델보다 높은 예측 정확도를 확보하였다.

ABSTRACT

Host load prediction is the basic decision information for managing the computing resources usage on the cloud platform, its accuracy is critical for achieving the servicelevel agreement. Host load data in cloud environment is more high volatility and noise compared to that of grid computing, traditional data-driven methods tend to have low predictive accuracy when dealing with host load of cloud computing, Thus, we have proposed a host load prediction method based on Bidirectional Long Short-Term Memory (BiLSTM) in this paper. Our BiLSTM-based apporach improve the memory capbility and nonlinear modeling ability of LSTM and LSTM Encoder-Decoder (LSTM-ED), which is used in the recent previous work, In order to evaluate our approach, we have conducted experiments using a 1-month trace of a Google data centre with more than twelve thousand machines. our BiLSTM-based approach successfully achieves higher accuracy than other previous models, including the recent LSTM one and LSTM-ED one.

연구 동기 및 목표

• 높은 변동성과 노이즈가 있는 클라우드 호스트 로드 데이터로 인해 기존의 예측 방법의 정확도가 제한되는 문제를 해결하기 위해.
• 복잡한 시간적 종속성을 포착할 수 있는 딥러닝 모델을 활용하여 클라우드 환경에서의 로드 예측 정확도를 향상시키기 위해.
• 수동적인 특징 공학 없이도 관련된 이전 맥락을 자동으로 학습할 수 있는 종단간(end-to-end), 적응형 모델을 개발하기 위해.
• 실세계 클라우드 워크로드 트레이스를 기반으로 다양한 예측 길이에서 모델 성능을 평가하고 최첨단 접근법과 비교하기 위해.

제안 방법

• 제안된 방법은 양방향 장단기 기억망(BiLSTM) 네트워크를 사용하여 호스트 로드 시계열을 모델링하며, 시간 시계열에서 과거와 미래의 맥락을 모두 포착한다.
• BiLSTM은 순방향 및 역방향 양방향으로 시퀀스를 처리하여 단방향 RNN보다 장기적 종속성과 동적 변동을 더 효과적으로 학습할 수 있도록 한다.
• 모델은 수동적인 특징 추출이 필요 없는 원시 호스트 로드 데이터에서 종단간으로 훈련되며, 전처리 복잡도를 감소시킨다.
• 대규모 구글 클러스터 데이터셋에서 훈련 중 오버피팅을 막기 위해 조기 정지와 드롭아웃 기법을 활용한다.
• 다단계 앞서 예측에 최적화된 아키텍처로, 다양한 시간 간격에서의 로드 추세 예측이 가능하다.
• 예측 정확도 평가에는 평균제곱오차(MSE)와 그 누적분포함수(CDF)를 사용하여 모든 테스트 머신에서의 예측 정확도를 종합적으로 분석한다.

실험 결과

연구 질문

• RQ1 BiLSTM 모델은 높은 변동성과 노이즈가 있는 클라우드 호스트 로드 예측에서 표준 LSTM 및 LSTM-Encoder-Decoder보다 성능이 뛰어나다고 할 수 있는가?
• RQ2 BiLSTM에서 순방향 및 역방향 맥락을 통합함으로써 단방향 모델 대비 로드 예측 정확도가 어떻게 향상되는가?
• RQ3 BiLSTM 모델의 종단간 설계는 로드 예측에서 수동적인 특징 공학에 대한 의존도를 얼마나 줄이는가?
• RQ4 실세계 클라우드 워크로드에서 다양한 예측 길이에서 모델의 성능은 어떠한가?
• RQ5 생산 환경 데이터센터에서 관찰되는 다양한 로드 패턴과 노이즈 수준에서도 BiLSTM 모델은 높은 정확도를 유지하는가?

주요 결과

• 12,000台 이상의 머신을 포함한 1개월 분량의 구글 클러스터 트레이스에서 BiLSTM 모델은 LSTM, LSTM-Encoder-Decoder, AR 기반 및 ANN 기반 모델보다 뛰어난 예측 정확도를 확보하였다.
• MSE 값의 누적분포함수(CDF) 분석 결과, BiLSTM 모델은 특히 장기 예측 수준에서 오차 ≤ 0.025인 예측 비율이 다른 모델보다 유의미하게 높았다.
• MSE 결과의 박스플롯 분석을 통해 BiLSTM의 중앙값 예측 오차는 모든 예측 길이에서 비교된 모든 다른 모델보다 일관되게 낮았다.
• 모델은 매우 변동성이 크고 자기상관이 없는 로드 트레이스에서도 CPU 및 메모리 로드 예측 모두에서 뛰어난 성능을 보였다.
• 결과는 BiLSTM가 복잡한 시간 패턴을 효과적으로 포착하며, 선형 모델 및 얕은 모델보다 다단계 앞서 예측에서 뛰어난 성능을 발휘함을 입증하였다.
• 모델의 종단간 설계는 외부 특징 공학이 필요 없게 하여 구현을 단순화하면서도 높은 정확도를 유지함을 확인하였다.