[논문 리뷰] Tracking System Behaviour from Resource Usage Data

Niyazi Sorkunlu, Varun Chandola외 1명|arXiv (Cornell University)|2017. 05. 30.

Software System Performance and Reliability인용 수 8

한 줄 요약

이 논문은 고성능 컴퓨팅(HPC) 시스템의 동작을 다차원 자원 사용 데이터—노드, 메트릭, 시간을 기준으로—3차 텐서로 모델링함으로써 텐서 기반 방법을 제안한다. 저질서 텐서 분해를 통해 복원 오차 지표를 계산하여 실시간으로 성능 이상을 탐지하며, TACC의 Lonestar4 데이터에서 실제 시스템 오류와 강한 상관관계를 보여준다.

ABSTRACT

Resource usage data, collected using tools such as TACC Stats, capture the resource utilization by nodes within a high performance computing system. We present methods to analyze the resource usage data to understand the system performance and identify performance anomalies. The core idea is to model the data as a three-way tensor corresponding to the compute nodes, usage metrics, and time. Using the reconstruction error between the original tensor and the tensor reconstructed from a low rank tensor decomposition, as a scalar performance metric, enables us to monitor the performance of the system in an online fashion. This error statistic is then used for anomaly detection that relies on the assumption that the normal/routine behavior of the system can be captured using a low rank approx- imation of the original tensor. We evaluate the performance of the algorithm using information gathered from system logs and show that the performance anomalies identified by the proposed method correlates with critical errors reported in the system logs. Results are shown for data collected for 2013 from the Lonestar4 system at the Texas Advanced Computing Center (TACC)

연구 동기 및 목표

• 기존의 HPC 모니터링 기법이 강한 고립된 이상만 탐지할 수 있는 한계를 해결하기 위해, 노드, 메트릭, 시간을 아우르는 시스템 전반의 상관관계를 분석한다.
• 다양한 차원을 아우르는 미세하고 약하게 나타나는 이상을 포괄하는 통합적이고 시스템 수준의 성능 모니터링 방법을 개발한다.
• 다차원 자원 사용 데이터로부터 단일 해석 가능한 오차 지표를 생성하여 실시간 이상 탐지에 활용한다.
• TACC의 Lonestar4 클러스터에서의 실제 HPC 로그 및 시스템 데이터를 사용하여 방법을 검증한다.
• 문제가 악화되기 전에 조기에 성능 문제를 탐지함으로써 시스템 신뢰성과 운영 효율성을 향상시킨다.

제안 방법

• HPC 자원 사용 데이터를 컴퓨팅 노드, 성능 메트릭(CPU 로드, 메모리 등), 시간을 축으로 하는 3차 텐서로 모델링한다.
• 원래 텐서의 복잡도를 감소시키기 위해 저질서 텐서 분해(예: Tucker 또는 CP 분해)를 적용한다.
• 원본 텐서와 그 저질서 근사값 사이의 복원 오차를 스칼라 성능 지표로 계산한다.
• 복원 오차를 단변량 시계열로 활용하여 실시간으로 시스템 상태를 모니터링한다.
• 정상 동작에서는 잔차가 안정적이므로, 복원 오차의 급격한 상승을 이상으로 간주한다.
• 시스템 메시지 로그에 기록된 심각한 오류와의 교차 검증을 통해 탐지된 이상을 확인한다.

실험 결과

연구 질문

• RQ1 저질서 텐서 분해가 노드, 메트릭, 시간을 아우르는 HPC 시스템의 정상 동작을 효과적으로 포착할 수 있는가?
• RQ2 텐서 분해에서 유도된 복원 오차가 시스템 성능 이상의 신뢰할 수 있는 지표가 될 수 있는가?
• RQ3 기존의 노드 또는 메트릭별 임계값 기반 접근 방식에서 놓친 이상을 탐지할 수 있는가?
• RQ4 복원 오차가 로그에 기록된 실제 시스템 오류와 얼마나 잘 상관되는가?
• RQ5 다양한 노드와 메트릭을 아우르는 약하게 나타나는 이상을 탐지할 수 있는가?

주요 결과

• 저질서 텐서 분해에서 유도된 복원 오차는 정상 시스템 운영 조건에서 안정적으로 유지되어 성능 지표로 사용할 수 있음을 검증한다.
• 복원 오차의 이상적 상승은 루스트리 인오드 실패나 커널 세그먼테이션 오류와 같은 시스템 로그에 기록된 실제 오류와 강하게 상관된다.
• 이 방법은 Lonestar4 데이터셋에서 10개의 별도된 이상 시간 창을 성공적으로 탐지하였으며, 모두 시스템 로그에 의해 확인되었다.
• 이 방법은 각 노드나 메트릭별 임계값 기반 탐지 방식에서는 탐지되지 않는 이상을 식별하여, 시스템 전반의 약하게 나타나는 문제에 민감함을 입증한다.
• 오차 지표를 통해 시스템 건강 상태의 시각적 추적을 효과적으로 지원하여 사전 관리가 가능해졌다.
• 이상 탐지에서 기존 방법보다 뛰어난 성능을 보였으며, 시스템 차원의 상호의존성을 포착함으로써 거짓 음성 결과를 줄였다.