[논문 리뷰] Bridging HPC Communities through the Julia Programming Language

Valentin Churavy, William F. Godoy외 10명|arXiv (Cornell University)|2022. 11. 04.

Scientific Computing and Data ManagementDecision Sciences인용 수 19

한 줄 요약

이 논문은 HPC 시뮬레이션 코드와 데이터 과학 워크플로우 간의 분열을 해소하기 위해 줄리아 프로그래밍 언어를 통합적이고 고성능의 솔루션으로 제안한다. LLVM를 통한 Just-in-Time 컴파일, C/Fortran과의 원활한 상호운용성, 타입 안정성 덕분에 줄리아는 이질적인 아키텍처 전반에서 고성능과 높은 생산성을 확보하며 종단 간 과학적 워크플로우를 가능하게 하며, 기존의 다중 언어 HPC 스택에 비해 비용이 낮고 재현 가능한 대안을 제공한다.

ABSTRACT

The Julia programming language has evolved into a modern alternative to fill existing gaps in scientific computing and data science applications. Julia leverages a unified and coordinated single-language and ecosystem paradigm and has a proven track record of achieving high performance without sacrificing user productivity. These aspects make Julia a viable alternative to high-performance computing's (HPC's) existing and increasingly costly many-body workflow composition strategy in which traditional HPC languages (e.g., Fortran, C, C++) are used for simulations, and higher-level languages (e.g., Python, R, MATLAB) are used for data analysis and interactive computing. Julia's rapid growth in language capabilities, package ecosystem, and community make it a promising universal language for HPC. This paper presents the views of a multidisciplinary group of researchers from academia, government, and industry that advocate for an HPC software development paradigm that emphasizes developer productivity, workflow portability, and low barriers for entry. We believe that the Julia programming language, its ecosystem, and its community provide modern and powerful capabilities that enable this group's objectives. Crucially, we believe that Julia can provide a feasible and less costly approach to programming scientific applications and workflows that target HPC facilities. In this work, we examine the current practice and role of Julia as a common, end-to-end programming model to address major challenges in scientific reproducibility, data-driven AI/machine learning, co-design and workflows, scalability and performance portability in heterogeneous computing, network communication, data management, and community education. As a result, the diversification of current investments to fulfill the needs of the upcoming decade is crucial as more supercomputing centers prepare for the exascale era.

연구 동기 및 목표

• 다양한 언어를 사용하는 별도의 HPC 및 데이터 과학 소프트웨어 스택을 유지보수하는 데 증가하는 복잡성과 비용을 해결한다.
• 기존 HPC 워크플로우의 한계를 극복한다. 예를 들어, HPC에는 C/Fortran를, 분석에는 Python/R를 사용하는 방식은 재현 가능성과 이식 가능성을 저해한다.
• 모델링, 데이터 분석, AI/ML, 시각화를 지원하는 단일 언어 기반의 종단 간 프로그래밍 모델을 제공한다.
• 엑사스케일 시대에 CPU, GPU, 가속기 등 이질적인 아키텍처 전반에서 성능 이식 가능성과 개발자 생산성을 향상시킨다.
• 현대적이고 확장 가능한 언어 생태계를 통해 커뮤니티 주도의 재현 가능하고 확장 가능한 과학 계산 워크플로우를 조성한다.

제안 방법

• LLVM 인프라를 통한 줄리아의 Just-in-Time(JIT) 컴파일을 활용하여 CPU 및 GPU를 포함한 다양한 아키텍처에 최적화된 기계어 코드를 생성한다.
• 타입 안정성과 다형적 디스패치를 통해 고수준의 수치 계산, 데이터 구조, 시각화 추상화를 저수준 성능 보장을 받는 방식으로 통합한다.
• C/Fortran 바인딩과 네이티브 호출 규약을 통해 기존 고성능 HPC 라이브러리 및 프레임워크(예: BLAS, LAPACK, PETSc)와의 원활한 상호운용성을 구현한다.
• 매개변수화된 프로그래밍 기능(예: 매크로)을 활용하여 컴파일 시점에 코드를 점검하고 최적화함으로써 성능 튜닝과 재현 가능성을 지원한다.
• AI/ML 프레임워크(예: Flux), 데이터 관리, 시각화 도구를 포함한 단일 언어 내에서 통합된 생태계를 구축하고 확장한다.
• 실제 HPC 시스템(예: Piz Daint, Noctua 1)에서의 벤치마크를 통해 성능 및 생산성을 입증하며, 수작업 최적화된 C/Fortran 코드와 경쟁 가능한 성능을 보였다.

실험 결과

연구 질문

• RQ1 줄리아는 HPC에서 시뮬레이션, 데이터 분석, AI/ML에 이르기까지 종단 간 과학 계산 워크플로우를 위한 실현 가능한 통합 프로그래밍 언어로 기능할 수 있는가?
• RQ2 줄리아는 개발자 생산성에 손해를 주지 않으면서도 이질적인 아키텍처(CPU, GPU, 가속기) 간에 성능 이식 가능성을 얼마나 달성할 수 있는가?
• RQ3 줄리아의 생태계는 전통적인 HPC 스택에 비해 재현 가능성, 유지보수성, 개발 비용 측면에서 어떻게 비교되는가?
• RQ4 다중 언어 워크플로우를 단일 언어 패러다임으로 대체함으로써 줄리아는 HPC 소프트웨어 개발의 복잡성과 비용을 줄일 수 있는가?
• RQ5 현대의 엑사스케일 대응 시스템과 워크로드를 대상으로 할 때 줄리아의 실용적 성능 특성은 어떠한가?

주요 결과

• 줄리아는 인텔 Xeon에서의 BLAS 연산과 엔비디아 P100 GPU에서의 커널 연산을 포함한 HPC 벤치마크에서 수작업 최적화된 C/Fortran 코드와 유사한 성능을 달성했다.
• 줄리아 생태계는 단일 언어 환경 내에서 시뮬레이션, 데이터 분석, 시각화, AI/ML까지 전체 스택의 과학 계산을 지원한다.
• 기존 HPC 라이브러리 및 프레임워크와의 원활한 상호운용성 덕분에 고성능 C/Fortran 코드베이스를 성능 손실 없이 재사용할 수 있다.
• 언어의 메타프로그래밍 및 컴파일 모델 덕분에 고수준 추상화를 유지하면서도 저수준 성능을 확보하여 생산성-성능 간 상충관계를 줄였다.
• 환경 관리, 패키지 버전 관리, 워크플로우 증명 기록을 첫 번째로 지원함으로써 재현 가능성이 향상되었으며, 벤치마크 및 코드는 전용 리포지터리에서 공개되어 있다.
• 오라날, CSCS, NERSC 등 다양한 기관과 HPC 센터에서 줄리아의 도입 사례는 생산 규모의 HPC 워크로드를 위한 커뮤니티 및 인프라 지원이 점점 커지고 있음을 보여준다.