[논문 리뷰] A Workload Analysis of NSF's Innovative HPC Resources Using XDMoD

Nikolay A. Simakov, Joseph P. White외 6명|arXiv (Cornell University)|2018. 01. 12.

Distributed and Parallel Computing SystemsComputer Science참고 문헌 2인용 수 17

한 줄 요약

이 논문은 2011년에서 2017년 사이에 NSF의 혁신적 HPC 자원의 워크로드를 XDMoD를 사용하여 분석하여, 할당량의 90%가 사용된 높은 활용도, 평균 작업 크기의 감소(약 9,000에서 약 1,000코어로), 단일 노드 작업 사용 증가(2017년 기준 총 SU 소비의 21%), 그리고 생물학적 및 물리학적 과학 분야에서의 과학 게이트웨이 도입 증가를 확인했으며, TACC 및 SDSC 클러스터와 같은 시스템에서의 메모리 사용, 병렬성, I/O 패턴의 추세를 규명하였다.

ABSTRACT

Workload characterization is an integral part of performance analysis of high performance computing (HPC) systems. An understanding of workload properties sheds light on resource utilization and can be used to inform performance optimization both at the software and system configuration levels. It can provide information on how computational science usage modalities are changing that could potentially aid holistic capacity planning for the wider HPC ecosystem. Here, we report on the results of a detailed workload analysis of the portfolio of supercomputers comprising the NSF Innovative HPC program in order to characterize its past and current workload and look for trends to understand the nature of how the broad portfolio of computational science research is being supported and how it is changing over time. The workload analysis also sought to illustrate a wide variety of usage patterns and performance requirements for jobs running on these systems. File system performance, memory utilization and the types of parallelism employed by users (MPI, threads, etc) were also studied for all systems for which job level performance data was available.

연구 동기 및 목표

• NSF의 혁신적 HPC 자원을 둘러싼 워크로드 패턴의 변화를 규명하여 시스템 최적화 및 용량 계획 수립에 기여하기 위해.
• 작업 크기, 병렬성, 자원 활용도 추세 등을 포함한 계산 과학 사용 방식의 변화를 이해하기 위해.
• HPC 사용에서 과학 게이트웨이의 역할을 평가하고 사용자 접근성 및 작업 처리량에 미치는 영향을 분석하기 위해.
• 메모리, I/O, 인터커넥트 사용량과 같은 시스템 수준의 메트릭을 분석하여 성능 저하 요인과 최적화 기회를 규명하기 위해.
• 아키텍처 변화(예: TACC STAMPEDE2)가 작업 특성과 자원 소비 패턴에 미치는 영향을 정량화하기 위해.

제안 방법

• 2011~2017년 기간 동안 8개 주요 HPC 시스템에서 작업 회계 및 성능 데이터를 수집하고 분석하기 위해 XDMoD(XSEDE 모니터링 시스템)를 활용하였다.
• /proc/stat, /sys/devices/system/node/, 및 /proc/sys/lnet/stats에서 수집한 작업 수준 메트릭을 바탕으로 CPU, 메모리, I/O, 인터커넥트 사용량을 유도하였다.
• Lariat 및 XALT 도구를 사용하여 실행 파일 경로를 추출하고, 알려진 커뮤니티 소프트웨어 데이터베이스를 기반으로 응용 프로그램을 분류하였다.
• 유일한 PID 수를 세고 시스템 데몬을 걸러내는 방식으로 주 작업 단계를 식별하기 위한 분류 알고리즘을 구현하였다.
• 정규 표현식과 188개의 알려진 응용 프로그램을 담은 참조 데이터베이스를 사용하여 작업을 분류하였으며, 미분류된 작업의 분류 정확도 향상을 위해 머신러닝 기법을 적용하였다.
• 순간 데이터의 부분 샘플링에서 유도된 메트릭(평균 및 최대 메모리 사용량, I/O 속도(읽기/쓰기), 대역폭 활용도)를 계산하였다.

실험 결과

연구 질문

• RQ1 2011년에서 2017년 사이에 NSF의 HPC 자원 활용도는 어떻게 변화했으며, 할당량 사용 변화를 이끄는 요인은 무엇인가?
• RQ2 다양한 과학 분야에서 작업 크기, 병렬성 유형(MPI, 스레드), 메모리 소비에 대한 추세는 무엇인가?
• RQ3 과학 게이트웨이 도입이 작업 처리량, 사용자 인구통계, 자원 소비 패턴에 어떤 영향을 미쳤는가?
• RQ4 HPC 응용 프로그램의 대부분이 대역폭에 제한을 받는가? 인터커넥트 사용량은 작업 크기 및 성능과 어떻게 관련되어 있는가?
• RQ5 아키텍처 변화(예: TACC STAMPEDE2)가 작업 특성과 시스템 효율성에 어떤 영향을 미쳤는가?

주요 결과

• 전체 할당량 활용도는 높았으며, 할당량의 10%만 미사용되었고, 2011년 이후 NSF 산하 모든 지 directing 기관의 총 사용량은 두 배 증가하였다.
• 수학 및 물리학 과학(MPS)과 생물학 과학(BIO) 지 directing 기관이 전체 XD SUs의 70%를 소비하였으며, 이 중 절반은 분자 생물학, 물리학, 재료 연구 분야에서 기인하였다.
• 단일 노드 작업은 2011년 전체 XD SUs의 5%에서 2017년 21%로 증가했고, 2017년 기준 순수 단일 스레드 작업은 전체 XD SUs의 최소 3%를 차지하였다.
• 평균 작업 크기가 감소하는 추세임에도 불구하고, TACC STAMPEDE2 도입 이후 대규모 작업(8,000+ 코어) 사용 증가 추세를 보이며 고코어 워크로드로의 전환을 보여주었다.
• 대부분의 병렬 작업은 할당된 CPU 코어를 모두 또는 거의 모두 효율적으로 사용하였으며, 대부분의 작업은 다중 스레드가 아닌 다수의 단일 스레드 프로세스를 사용하였다.
• 과학 게이트웨이 사용은 2011년에서 2017년 사이에 다섯 배 증가했으며, 게이트웨이 SUs의 98%가 생물학 및 수학/물리 과학 분야에서 소비되었고, 2015년 기준 게이트웨이 사용자 수가 HPC 사용자 수를 초월하였다.