[论文解读] Bridging HPC Communities through the Julia Programming Language

Valentin Churavy, William F. Godoy+10 more|arXiv (Cornell University)|Nov 4, 2022

Scientific Computing and Data ManagementDecision Sciences被引用 19

一句话总结

本文倡导将 Julia 编程语言作为统一的高性能解决方案，弥合高性能计算（HPC）仿真代码与数据科学工作流之间的碎片化问题。通过结合类型稳定性、基于 LLVM 的即时编译（JIT）以及与 C/Fortran 的无缝互操作性，Julia 能够在异构架构上实现端到端的科学计算工作负载，兼具高生产效率与性能可移植性，为传统多语言 HPC 架构提供一种成本更低、可复现的替代方案。

ABSTRACT

The Julia programming language has evolved into a modern alternative to fill existing gaps in scientific computing and data science applications. Julia leverages a unified and coordinated single-language and ecosystem paradigm and has a proven track record of achieving high performance without sacrificing user productivity. These aspects make Julia a viable alternative to high-performance computing's (HPC's) existing and increasingly costly many-body workflow composition strategy in which traditional HPC languages (e.g., Fortran, C, C++) are used for simulations, and higher-level languages (e.g., Python, R, MATLAB) are used for data analysis and interactive computing. Julia's rapid growth in language capabilities, package ecosystem, and community make it a promising universal language for HPC. This paper presents the views of a multidisciplinary group of researchers from academia, government, and industry that advocate for an HPC software development paradigm that emphasizes developer productivity, workflow portability, and low barriers for entry. We believe that the Julia programming language, its ecosystem, and its community provide modern and powerful capabilities that enable this group's objectives. Crucially, we believe that Julia can provide a feasible and less costly approach to programming scientific applications and workflows that target HPC facilities. In this work, we examine the current practice and role of Julia as a common, end-to-end programming model to address major challenges in scientific reproducibility, data-driven AI/machine learning, co-design and workflows, scalability and performance portability in heterogeneous computing, network communication, data management, and community education. As a result, the diversification of current investments to fulfill the needs of the upcoming decade is crucial as more supercomputing centers prepare for the exascale era.

研究动机与目标

• 解决维护独立的 HPC 与数据科学软件栈（使用多种编程语言）所带来的日益增长的复杂性与成本问题。
• 克服传统 HPC 工作流依赖多种语言（如 HPC 使用 C/Fortran，分析使用 Python/R）所导致的可复现性与可移植性受限的问题。
• 为科学计算提供一种单语言、端到端的编程范式，支持仿真、数据分析、人工智能/机器学习（AI/ML）和可视化。
• 在百亿亿次计算时代，推动跨异构架构（包括 CPU、GPU 和加速器）的性能可移植性与开发人员生产力。
• 通过现代、可扩展的语言生态系统，促进社区驱动、可复现且可扩展的科学工作流。

提出的方法

• 利用 Julia 基于 LLVM 基础设施的即时编译（JIT）技术，为包括 CPU 和 GPU 在内的多种架构生成高度优化的机器代码。
• 通过类型稳定性和多分派机制，将数值计算、数据结构和可视化等高层抽象与底层性能保证相结合。
• 通过 C/Fortran 绑定和原生调用约定，实现与现有高性能 HPC 库和框架（如 BLAS、LAPACK、PETSc）的无缝互操作性。
• 利用 Julia 强大的元编程特性（如宏）在编译时对代码进行插桩与优化，支持性能调优与可复现性。
• 构建并扩展统一的科学计算生态系统，包括人工智能/机器学习框架（如 Flux）、数据管理与可视化工具，全部集成于单一语言环境之中。
• 通过在真实 HPC 系统（如 Piz Daint、Noctua 1）上的基准测试，展示其性能与生产效率，证明其与手工优化的 C/Fortran 代码相比具有竞争力。

实验结果

研究问题

• RQ1 Julia 是否能够作为可行的统一编程语言，支持涵盖仿真、数据分析和 AI/ML 的端到端科学计算工作流？
• RQ2 Julia 在不牺牲开发人员生产力的前提下，能在多大程度上实现跨异构架构（CPU、GPU、加速器）的性能可移植性？
• RQ3 与传统 HPC 架构相比，Julia 生态系统在可复现性、可维护性以及开发成本方面表现如何？
• RQ4 Julia 是否能够通过将多语言工作流替换为单语言范式，降低 HPC 软件开发的复杂性与成本？
• RQ5 在面向现代百亿亿次计算系统与工作负载时，Julia 的实际性能特征是什么？

主要发现

• Julia 在 HPC 基准测试中实现了与手工优化的 C/Fortran 代码相当的性能，包括在 Intel Xeon 上的 BLAS 操作以及在 NVIDIA P100 上的 GPU 内核。
• Julia 生态系统支持完整的科学计算栈，包括仿真、数据分析、可视化和 AI/ML，全部运行在单一语言环境中。
• Julia 实现了与现有 HPC 库和框架的无缝互操作性，可无性能损失地重用高度优化的 C/Fortran 代码库。
• 该语言的元编程与编译模型使得高层抽象与底层性能得以兼顾，显著降低了生产效率与性能之间的权衡。
• 通过原生支持环境管理、包版本控制与工作流溯源，可复现性得到增强，且基准测试与代码在专用代码仓库中公开可访问。
• Julia 在包括 ORNL、CSCS、NERSC 在内的多个机构与 HPC 中心的广泛应用，表明其在生产级 HPC 工作负载中获得了日益增长的社区与基础设施支持。