[논문 리뷰] The importance and need for system monitoring and analysis in HPC operations and research

Florina M. Ciorba|arXiv (Cornell University)|2017. 01. 01.

Distributed and Parallel Computing Systems인용 수 3

한 줄 요약

이 논문은 고성능 컴퓨팅(HPC) 환경에서 종합적인 시스템 모니터링 및 분석을 통해 소프트웨어-하드웨어 상호작용에 대한 통찰을 높이고, 시스템 설계를 향상시키며, 효율성, 신뢰성, 생산성을 증가시키기 위한 통합된 시스템 모델을 수립하고자 한다. 이 접근법은 대규모 모니터링 데이터를 활용하여 예측 모델링과 운영 최적화를 가능하게 한다.

ABSTRACT

In this work, system monitoring and analysis are discussed in terms of their significance and benefits for operations and research in the field of high-performance computing (HPC). HPC systems deliver unique insights to computational scientists from different disciplines. It is argued that research in HPC is also computational in nature, given the massive amounts of monitoring data collected at various levels of an HPC system. The vision of a comprehensive system model developed based on holistic monitoring and analysis is also presented. The goal and expected outcome of such a model is an improved understanding of the intricate interactions between today's software and hardware, and their diverse usage patterns. The associated modeling, monitoring, and analysis challenges are reviewed and discussed. The envisioned comprehensive system model will provide the ability to design future systems that are better understood before use, easier to maintain and monitor, more efficient, more reliable, and, therefore, more productive. The paper is concluded with a number of recommendations towards realizing the envisioned system model.

연구 동기 및 목표

• 모니터링을 통해 소프트웨어-하드웨어 상호작용에 대한 깊이 있는 이해를 가능하게 하여 점점 더 복잡해지는 HPC 시스템의 복잡성을 해결하고자 한다.
• 종합적인 모니터링 데이터를 활용하여 시스템 설계, 유지보수, 운영 효율성을 향상시키고자 한다.
• 하드웨어 및 소프트웨어 계층의 다양한 사용 패턴과 시스템 동작을 포괄하는 통합 시스템 모델을 개발하고자 한다.
• 사전 경고 기반의 모니터링 및 분석을 통해 시스템 장애 시간을 줄이고 생산성을 높이고자 한다.
• 배포 이전에 데이터 기반 통찰을 바탕으로 향후 HPC 시스템 개발을 이끌고자 한다.

제안 방법

• 하드웨어, 소프트웨어, 워크로드 계층 전반에서 종합적인 모니터링 프레임워크를 사용하여 모든 시스템 계층의 모니터링 데이터를 수집한다.
• 이질적인 모니터링 데이터 스트림을 통합하여 교차 계층 분석이 가능한 통합 시스템 모델로 통합한다.
• 대규모 모니터링 데이터를 처리하기 위해 계산 기반 연구 기법을 적용하고, 이를 최우선 연구 데이터로 간주한다.
• 관측된 성능 저하 요인 및 고장 패턴을 기반으로 시스템 동작을 모델링한다.
• 관측된 사용 패턴과 고장 패턴을 바탕으로 예측 모델을 개발하여 시스템 최적화를 이끌어낸다.
• 사전 관리 및 설계를 지원하는 종합적인 시스템 모델의 비전을 제안한다.

실험 결과

연구 질문

• RQ1 통합 모니터링 및 분석을 통해 HPC 소프트웨어와 하드웨어 간의 복잡한 상호작용을 어떻게 더 잘 이해할 수 있는가?
• RQ2 대규모 HPC 모니터링 데이터의 모델링 및 분석에서 발생하는 주요 과제는 무엇인가?
• RQ3 어떻게 하면 모니터링 데이터를 활용하여 더 신뢰성 있고 효율적이며 유지보수가 쉬운 HPC 시스템을 설계할 수 있는가?
• RQ4 데이터 기반 모델링은 시스템 생산성과 운영 성능 향상에 어떤 역할을 하는가?
• RQ5 HPC 환경에서 다양한 사용 패턴을 분석함으로써 도출할 수 있는 시스템 수준의 통찰은 무엇인가?

주요 결과

• 종합적인 시스템 모니터링은 복잡한 소프트웨어-하드웨어 상호작용을 포괄하는 통합 시스템 모델을 구축하는 데 기여한다.
• HPC 연구는 대규모 모니터링 데이터 분석에 의존하므로 본질적으로 계산 기반 연구이다.
• 제안된 시스템 모델은 시스템 설계, 유지보수, 운영 효율성 향상에 기여한다.
• 모니터링 및 분석은 데이터 기반 통찰을 통해 더 신뢰성 있고 효율적이며 생산적인 HPC 시스템을 가능하게 한다.
• 모니터링 데이터를 시스템 모델링에 통합함으로써 시스템 장애 시간을 줄이고 시스템 이해도를 향상시킨다.
• 논문은 HPC 모니터링 데이터의 모델링 및 분석에서 발생하는 핵심 과제를 규명하였으며, 이는 시스템 모델링의 잠재력을 실현하기 위해 반드시 해결되어야 할 과제이다.