[論文レビュー] Bridging HPC Communities through the Julia Programming Language

Valentin Churavy, William F. Godoy+10 more|arXiv (Cornell University)|Nov 4, 2022

Scientific Computing and Data ManagementDecision Sciences被引用数 19

ひとこと要約

この論文は、HPC シミュレーションコードとデータサイエンスワークフローの間の断片化を解消する統合的かつ高パフォーマンスなソリューションとして、Julia プログラミング言語の活用を提唱している。型安定性、LLVM を用いた JIT コンパイル、C/Fortran とのシームレスな相互運用性を組み合わせることで、Julia は、異種アーキテクチャにわたるパフォーマンスポータビリティと生産性を兼ね備えたエンドツーエンドの科学的ワークロードを可能にし、従来のマルチランゲージ HPC スタックに比べてコストが低く、再現性のある代替手段を提供する。

ABSTRACT

The Julia programming language has evolved into a modern alternative to fill existing gaps in scientific computing and data science applications. Julia leverages a unified and coordinated single-language and ecosystem paradigm and has a proven track record of achieving high performance without sacrificing user productivity. These aspects make Julia a viable alternative to high-performance computing's (HPC's) existing and increasingly costly many-body workflow composition strategy in which traditional HPC languages (e.g., Fortran, C, C++) are used for simulations, and higher-level languages (e.g., Python, R, MATLAB) are used for data analysis and interactive computing. Julia's rapid growth in language capabilities, package ecosystem, and community make it a promising universal language for HPC. This paper presents the views of a multidisciplinary group of researchers from academia, government, and industry that advocate for an HPC software development paradigm that emphasizes developer productivity, workflow portability, and low barriers for entry. We believe that the Julia programming language, its ecosystem, and its community provide modern and powerful capabilities that enable this group's objectives. Crucially, we believe that Julia can provide a feasible and less costly approach to programming scientific applications and workflows that target HPC facilities. In this work, we examine the current practice and role of Julia as a common, end-to-end programming model to address major challenges in scientific reproducibility, data-driven AI/machine learning, co-design and workflows, scalability and performance portability in heterogeneous computing, network communication, data management, and community education. As a result, the diversification of current investments to fulfill the needs of the upcoming decade is crucial as more supercomputing centers prepare for the exascale era.

研究の動機と目的

• 複数の言語を用いた HPC とデータサイエンスのソフトウェアスタックを別々に維持するという複雑さとコストの増大に対処すること。
• 従来の HPC ワークフローの制限を克服すること。具体的には、HPC には C/Fortran、分析には Python/R といった別々の言語に依存するため、再現性やポータビリティが損なわれる点を改善すること。
• シミュレーション、データ分析、AI/ML、可視化をカバーする、単一言語によるエンドツーエンドのプログラミングモデルを実現すること。
• エクサスケール時代における、CPU、GPU、アクセラレータを含む異種アーキテクチャにわたるパフォーマンスポータビリティと開発者生産性を促進すること。
• 現代的で拡張可能な言語エコシステムを通じて、コミュニティ主導で再現可能でスケーラブルな科学的ワークフローを促進すること。

提案手法

• LLVM インfraストラクチャを用いた Julia の JIT コンパイルを活用し、CPU や GPU を含む多様なアーキテクチャ向けに高度に最適化された機械語コードを生成すること。
• 型安定性と多重ディパッチを活用して、数値計算、データ構造、可視化の高レベルな抽象化と、低レベルのパフォーマンス保証を統合すること。
• C/Fortran バインディングとネイティブ呼び出し規約を用いて、既存の高性能 HPC ライブラリやフレームワーク（例：BLAS、LAPACK、PETSc）とのシームレスな相互運用性を実現すること。
• マクロを含む Julia の強力なメタプログラミング機能を活用し、コンパイル時におけるコードのインstrumentation と最適化を可能にし、パフォーマンスチューニングと再現性を支援すること。
• AI/ML フレームワーク（例：Flux）、データ管理、可視化ツールを含む、科学的計算のための統合エコシステムを構築・拡張し、すべてを単一言語内に統合すること。
• 実際の HPC システム（例：Piz Daint、Noctua 1）におけるベンチマークを通じて、パフォーマンスと生産性を実証し、手動最適化された C/Fortran コードと同等のパフォーマンスを達成すること。

実験結果

リサーチクエスチョン

• RQ1 Julia は、HPC のシミュレーション、データ分析、AI/ML をカバーするエンドツーエンドの科学的ワークフローに、実用的かつ統合的なプログラミング言語として機能できるか？
• RQ2 Julia は、開発者生産性を損なわせることなく、CPU、GPU、アクセラレータを含む異種アーキテクチャにわたるパフォーマンスポータビリティをどの程度達成できるか？
• RQ3 Julia のエコシステムは、再現性、保守性、開発コストの観点から、従来の HPC スタックと比べてどの程度優れているか？
• RQ4 マルチランゲージワークフローを単一言語パラダイムに置き換えることで、HPC ソフトウェア開発の複雑さとコストを低減できるか？
• RQ5 現代のエクサスケール対応システムとワークロードをターゲットにした場合、Julia の実用的パフォーマンス特性はどのようなものか？

主な発見

• Julia は、Intel Xeon における BLAS 演算や NVIDIA P100 における GPU カーネルにおいて、手動最適化された C/Fortran コードと同等のパフォーマンスを達成している。
• Julia のエコシステムは、単一言語環境内で、シミュレーション、データ分析、可視化、AI/ML を含むフルスタックの科学的計算をサポートしている。
• Julia は、既存の HPC ライブラリやフレームワークとのシームレスな相互運用性を実現しており、パフォーマンス損失なしに高度に最適化された C/Fortran コードベースを再利用可能である。
• 言語のメタプログラミングとコンパイルモデルにより、高レベルな抽象化を実現しながらも低レベルのパフォーマンスを維持でき、生産性とパフォーマンスのトレードオフを軽減している。
• 環境管理、パッケージバージョニング、ワークフローのプロヴァンスを最初からサポートする仕組みにより、再現性が向上しており、ベンチマークとコードは専用リポジトリで公開されている。
• ORNL や CSCS、NERSC などの多様な機関や HPC センタでの Julia の採用状況は、生産スケールの HPC ワークロードにおけるコミュニティおよびインfraストラクチャの支援が拡大していることを示している。