[논문 리뷰] Building a Shared Resource HPC Center Across University Schools and Institutes: A Case Study

G. A. MacLachlan, Jason Hurlburt외 9명|arXiv (Cornell University)|2020. 03. 30.

Cloud Computing and Resource Management인용 수 13

한 줄 요약

이 논문은 조지 워싱턴 대학교에서 분산된 HPC 자원을 통합하여 중심화된 전문적으로 운영되는 클러스터로의 공동 고성능 컴퓨팅 센터(HPCC) 구축 사례를 제시한다. 정의된 공정한 자원 할당 모델과 선택적 우선순위 투자 모델을 도입함으로써, 다양한 연구 분야에서 비용 효율성 향상, 자원 활용도 향상, 사용자 지원 향상을 달성하였으며, 이는 430명 이상의 연구자를 지원하는 확장 가능하고 지속 가능한 HPC 인프라로 이어졌다.

ABSTRACT

Over the past several years, The George Washington University has recruited a significant number of researchers in a wide variety of domains requiring the availability of advanced computational resources. We discuss the challenges and obstacles encountered planning and establishing a first-time high performance computing center at the university level and present a set of solutions that will be useful for any university developing a fledgling high performance computing center. We focus on justification and cost model, strategies for determining anticipated use cases, planning appropriate resources, staffing, user engagement, and metrics for gauging success.

연구 동기 및 목표

• 연구 중심 대학의 다양한 학문 분야에서 증가하는 고성능 컴퓨팅 자원 수요를 충족시키기 위해.
• 교수진 소유의 분산된 HPC 클러스터로 인한 비효율성과 운영 부담을 해소하기 위해.
• 지속 가능한 자금, 인력, 거버넌스 모델을 갖춘 중심화된 공동 HPC 센터를 구축하기 위해.
• 도입 및 영향을 보장하기 위해 사용자 참여, 교육, 성능 추적 전략을 개발하기 위해.
• 다른 대학들이 공동 HPC 시설을 구축하거나 확장하고자 할 때 재사용 가능한 프레임워크를 만들기 위해.

제안 방법

• CPU, GPU, 고메모리 구성이 포함된 총 213개 노드의 중심화된 HPC 클러스터(콜로니얼 원)를 구축하였으며, Dell 및 전용 하드웨어를 혼합 사용하였다.
• 재정 투자에 기반한 선택적 우선순위 할당을 포함한 공정한 자원 할당 스케줄링 모델을 구현하여 복잡한 공동 소유 모델을 피했다.
• 3단계 스토리지 아키텍처를 구현: 주요 NFS, 고속 루스트 래치, Dell Compellent를 통한 장기 보관 스토리지.
• 외부 교육 및 액세스를 위해 XSEDE와 통합하고, 워크숍과 비디오 튜토리얼을 포함한 내부 교육 프로그램을 운영하였다.
• 분야별 연구 요구사항을 이해하는 HPC 전문가를 교육하고 파견하여 신규 사용자 온보딩 및 애플리케이션 배포를 지원하였다.
• 성과 평가 및 타겟팅된 지원을 위해 작업 이력, 교육, 사용 패턴, 기금 성과를 추적할 수 있는 데이터 웨어하우스를 구축하였다.

실험 결과

연구 질문

• RQ1 어떻게 대학은 분산된 HPC 자원을 공동으로 중심화된 관리 시설로 효과적으로 통합할 수 있는가?
• RQ2 다양한 학술 단위 간의 참여를 장려하면서도 공정성을 유지하는 비용 공유 및 투자 모델은 무엇인가?
• RQ3 다양하고 다학제적인 사용자 기반을 지원하기 위해 사용자 참여와 교육을 어떻게 체계적으로 확장할 수 있는가?
• RQ4 공동 HPC 센터의 성공과 영향을 측정하는 데 가장 효과적인 지표는 무엇인가?
• RQ5 장기적인 지속 가능성과 고성능 컴퓨팅 인프라의 성능을 보장하기 위해 운영 및 인력 모델은 어떻게 구성되어야 하는가?

주요 결과

• GWU의 공동 HPCC는 여러 학교의 HPC 자원을 성공적으로 통합하여 110개 이상의 연구 그룹에 소속된 430명 이상의 연구자를 지원하였다.
• 선택적 우선순위 투자 기반의 공정한 자원 할당 모델은 공정한 접근성을 유지하면서도 고성능이 필요한 팀이 계산 능력을 확장할 수 있도록 했다.
• 센터는 하루에 2,000건 이상의 작업을 처리하고 지속적으로 운영되어 높은 신뢰성과 활용도를 입증하였다.
• 워크숍과 XSEDE 파트너십을 포함한 사용자 참여 이니셔티브가 온보딩 및 애플리케이션 지원 향상에 크게 기여하였다.
• 데이터 웨어하우스를 통해 사용 패턴, 교육 효과성, 연구 영향을 타겟팅한 보고서를 작성할 수 있었으며, 자가 보고한 기금 및 논문 성과를 포함하였다.
• Terascala에서 Intel Enterprise Edition Lustre로의 전환은 스토리지 성능과 확장성을 향상시켜 장기적인 성장을 지원하였다.