[논문 리뷰] Machine Learning for Predictive Analytics of Compute Cluster Jobs

Dan Andresen, William Hsu외 2명|arXiv (Cornell University)|2018. 05. 20.

Data Stream Mining Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 캔자스 주립대학교의 Beocat 클러스터에서의 역사적 작업 로그를 사용하여 제출 시점에 부족한 메모리 또는 CPU 할당으로 인한 HPC 작업 실패를 예측하기 위한 지도 학습 접근법을 제안한다. 연구에서는 특히 가우시안 나이브 베이즈 모델이 제출 시점에 이용 가능한 특징을 사용하여 자원 관련 작업 실패를 높은 정확도로 예측할 수 있음을 보여주며, 개별 사용자에게 맞춤형 피드백을 제공함으로써 자원 추정을 향상시킬 수 있다.

ABSTRACT

We address the problem of predicting whether sufficient memory and CPU resources have been requested for jobs at submission time. For this purpose, we examine the task of training a supervised machine learning system to predict the outcome - whether the job will fail specifically due to insufficient resources - as a classification task. Sufficiently high accuracy, precision, and recall at this task facilitates more anticipatory decision support applications in the domain of HPC resource allocation. Our preliminary results using a new test bed show that the probability of failed jobs is associated with information freely available at job submission time and may thus be usable by a learning system for user modeling that gives personalized feedback to users.

연구 동기 및 목표

• HPC 작업이 제출 시점에 부족한 CPU 또는 메모리 할당으로 인해 실패할지를 예측할 수 있는 머신러닝 시스템을 개발하는 것.
• 예측 분석을 통한 사전 결정 지원을 가능하게 하여 HPC 자원 할당을 향상시키는 것.
• 기존 HPC 클러스터 Beocat의 실제 작업 로그를 사용하여 기존 작업 행동을 학습하고 평가하기 위한 테스트 베드를 구축하는 것.
• 사용자 경험 및 인구 통계적 프로파일링과 작업 실패 패턴을 연결하여 사용자 맞춤형 피드백을 위한 사용자 모델링을 탐색하는 것.
• 제출 시점 메타데이터만을 사용하여 작업 자원 사용량과 실패 결과를 예측하기 위한 지도 학습의 가능성을 평가하는 것.

제안 방법

• Beocat HPC 시스템의 역사적 작업 제출 및 모니터링 로그를 수집하고 처리하여 작업 요청 파rameter와 실제 자원 사용량을 포함한다.
• 요청된 CPU 시간, 메모리, 코어 수 및 사용자별 역사적 행동과 같은 작업 제출에서 특징을 추출한다.
• 자원 과소 평가로 인한 작업 실패를 예측하기 위해 지도 분류 모델(CART, 가우시안 나이브 베이즈, 랜덤 포레스트 등)을 적용한다.
• 제출 특징을 기반으로 실제 CPU 및 메모리 사용량을 예측하기 위해 회귀 모델(CART 회귀 등)을 사용한다.
• 정확도, 정밀도, 재현율, F1 점수와 같은 지표를 사용하여 모델을 평가하며, 실시간 적용을 위한 낮은 추론 시간을 중시한다.
• 사용자 클러스터링 및 사회망 모델링을 탐색하여 전문성 공동체를 탐지하고 사용자 프로파일링을 향상시켜 개인화된 추천을 개선한다.

실험 결과

연구 질문

• RQ1 기존 작업 로그를 기반으로 학습된 머신러닝 모델이 제출 시점에 자원 할당 부족으로 인한 작업 실패를 높은 정확도로 예측할 수 있는가?
• RQ2 정확도, 정밀도 및 추론 속도 측면에서 자원 관련 작업 실패를 분류하는 데 가장 우수한 성능을 보이는 머신러닝 알고리즘은 무엇인가?
• RQ3 과거 실패율 등 사용자별 집계 특징을 추가했을 때 예측 성능 향상이 얼마나 이루어지는가?
• RQ4 비선형 CPU 사용량 대비 선형 메모리 사용량과 같은 다양한 데이터 분포가 회귀 및 분류 모델 선택에 어떤 영향을 미치는가?
• RQ5 작업 유사성 및 실패 패턴을 기반으로 한 사용자 간 사회망 구조가 예측 모델링 및 사용자 피드백 개인화에 기여하는가?

주요 결과

• 가우시안 나이브 베이즈가 분류 모델 중에서 가장 높은 정확도를 기록했으며, 낮은 추론 시간으로 인해 가장 효율적인 것으로 선정되었다.
• CART 회귀는 비선형 분포를 보이는 CPU 사용량을 효과적으로 예측했지만, 거의 선형 분포를 보이는 메모리 사용량은 정확히 예측하지 못했다.
• 사용자 집계 특징을 추가했을 때 F1 점수나 정확도에 유의미한 향상이 관찰되지 않아 현재 특징 세트의 예측 능력이 제한적임을 시사한다.
• 사용자별 특징을 추가했을 때 CPU 사용량 예측의 R-제곱 값에 점진적인 향상이 관찰되어 약간의 이점이 있음을 시사한다.
• 현재 데이터가 충분한 예측 신호를 제공하지 못함을 고려할 때, 작업 실패와 표준 제출 시점 특징 간 강력하고 명확한 관계가 없음을 발견했다.
• 결과적으로 사용자 행동과 실패 패턴을 더 잘 포착하기 위해 베이지안 네트워크 또는 그래픽 모델과 같은 고급 인과 모델이 필요하다는 점을 시사한다.