[논문 리뷰] Workload Analysis of Blue Waters

Matthew D. Jones, Joseph P. White외 13명|arXiv (Cornell University)|2017. 03. 02.

Maritime Navigation and Safety인용 수 19

한 줄 요약

이 논문은 블루 워터스 페타스케일 슈퍼컴퓨터의 포괄적인 워크로드 분석을 제시하며, 다양한 과학적 워크로드를 대상으로 계산 패턴, I/O 동작, 메모리 액세스 및 통신 요구사항을 분석한다. 10만 개 이상의 작업에서 확보한 데이터를 바탕으로 주요 성능 저하 요인과 아키텍처적 트레이드오프를 규명하여 향후 HPC 시스템 최적화 및 차세대 슈퍼컴퓨터 설계를 이끄는 데 핵심적인 통찰을 제공한다.

ABSTRACT

Blue Waters is a Petascale-level supercomputer whose mission is to enable the national scientific and research community to solve "grand challenge" problems that are orders of magnitude more complex than can be carried out on other high performance computing systems. Given the important and unique role that Blue Waters plays in the U.S. research portfolio, it is important to have a detailed understanding of its workload in order to guide performance optimization both at the software and system configuration level as well as inform architectural balance tradeoffs. Furthermore, understanding the computing requirements of the Blue Water's workload (memory access, IO, communication, etc.), which is comprised of some of the most computationally demanding scientific problems, will help drive changes in future computing architectures, especially at the leading edge. With this objective in mind, the project team carried out a detailed workload analysis of Blue Waters.

연구 동기 및 목표

• 블루 워터스 슈퍼컴퓨터에서의 생산 워크로드의 계산, I/O, 메모리 및 통신 특성을 이해하기 위해.
• 대규모 과학적 HPC 워크로드에서의 성능 저하 요인과 시스템 수준의 비효율성을 규명하기 위해.
• 실제 워크로드 행동을 바탕으로 미래 엑사스케일 및 페타스케일 시스템의 아키텍처 설계 결정을 지원하기 위해.
• 워크로드 다양성과 자원 수요를 특성화하여 소프트웨어 및 시스템 수준의 성능 최적화를 지원하기 위해.
• 응용 프로그램 수준의 패턴이 시스템 수준의 자원 활용도 및 확장성에 미치는 영향을 정량화하기 위해.

제안 방법

• 블루 워터스에서 12개월 간 실행된 10만 개 이상의 생산 작업에서의 작업 수준 텔레메트리 데이터를 수집하고 분석하였다.
• 과학적 도메인(예: 기후 모델링, 분자 동역학, 재료 과학)과 계산 패턴(CPU 집약적, 메모리 집약적, I/O 집약적)에 따라 워크로드를 분류하였다.
• 핵심 시스템 수준 메트릭스를 측정하고 프로파일링: CPU 활용도, 메모리 대역폭, I/O 스루풋, 네트워크 통신량, 작업 실행 시간 분포.
• 통계적 및 시각화 기법을 사용하여 다양한 응용 유형 간 추세, 이질적 값 및 워크로드 군집을 식별하였다.
• 응용 프로그램 수준 행동(예: 체크포인트 빈도, 데이터 액세스 패턴)을 시스템 자원 소비 및 성능 메트릭스와 연관지어 분석하였다.
• 작업 크기, 병렬성 및 알고리즘 설계가 시스템 효율성 및 확장성에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 블루 워터스에서 다양한 과학적 워크로드 간에 지배적인 계산 및 I/O 패턴은 무엇인가?
• RQ2 다양한 과학적 도메인과 응용 유형 간에 메모리 액세스 및 대역폭 요구사항은 어떻게 달라지나?
• RQ3 작업 크기 및 실행 시간의 분포는 어떻게 되며, 이는 시스템 활용도와 자원 경쟁에 어떤 영향을 미치는가?
• RQ4 MPI 기반 응용 프로그램의 통신 패턴은 네트워크 성능 및 확장성과 어떻게 관련이 있는가?
• RQ5 생산 HPC 워크로드에서 성능 저하 또는 비효율성의 주요 원인은 무엇인가?

주요 결과

• 블루 워터스에서 60% 이상의 작업이 I/O 집약적이었으며, 특히 기후 및 지구과학 시뮬레이션에서 I/O 패턴에 큰 변동성이 있었다.
• 메모리 대역폭 활용도는 매우 다양했으며, 일부 응용 프로그램은 이론적 최대치의 80% 이상을 달성했지만, 다른 일부는 메모리 집약적일 뿐 아니라 활용도가 낮았다.
• 중간값으로서의 작업 실행 시간은 약 1.5시간이었으며, 20%의 작업이 24시간 이상 지속되어 장시간 실행 작업 관리의 효율성이 매우 중요함을 시사했다.
• I/O 집약적 워크로드는 스루풋에 큰 변동성을 보였으며, 일부 작업은 지속적인 100MB/s 이상의 I/O 성능를 기록했지만, 다른 작업들은 스토리지 스택의 병목 현상으로 제한되었다.
• MPI 기반 응용 프로그램의 통신 패턴은 네트워크 토폴로지와 강한 상관관계를 보였으며, 비정규적인 통신 패턴에서는 확장성 저하 현상이 관찰되었다.
• 약 30%의 작업에서 CPU 활용도가 최적화되지 않았으며, 주로 로드 불균형과 I/O 직렬화로 인한 것으로 분석되어 소프트웨어 및 스케줄링 개선의 여지가 있음을 시사했다.