[論文レビュー] Julia: A Fresh Approach to Numerical Computing

Jeff Bezanson, Alan Edelman+2 more|arXiv (Cornell University)|Nov 6, 2014

Parallel Computing and Optimization Techniques参考文献 20被引用数 97

ひとこと要約

Juliaは、複数ディスpatch、型推論、およびジャストインタイム（JIT）コンパイルを活用することで、C並みのパフォーマンスを実現する高水準で動的型付けのプログラミング言語を提案している。これにより、プログラマの生産性を損なうことなく高速な数値計算が可能になる。主な貢献は、高水準なコードが人間にとって読みやすく、かつ機械的にも効率的であることを示したことであり、パフォーマンスが求められるコードを低水準言語に再実装する必要がなくなることである。

ABSTRACT

Bridging cultures that have often been distant, Julia combines expertise from the diverse fields of computer science and computational science to create a new approach to numerical computing. Julia is designed to be easy and fast. Julia questions notions generally held as "laws of nature" by practitioners of numerical computing: 1. High-level dynamic programs have to be slow. 2. One must prototype in one language and then rewrite in another language for speed or deployment, and 3. There are parts of a system for the programmer, and other parts best left untouched as they are built by the experts. We introduce the Julia programming language and its design --- a dance between specialization and abstraction. Specialization allows for custom treatment. Multiple dispatch, a technique from computer science, picks the right algorithm for the right circumstance. Abstraction, what good computation is really about, recognizes what remains the same after differences are stripped away. Abstractions in mathematics are captured as code through another technique from computer science, generic programming. Julia shows that one can have machine performance without sacrificing human convenience.

研究の動機と目的

• 数値計算における長年のパフォーマンスと生産性のトレードオフを解消し、高水準な表現力と低水準の速度を統合すること。
• 高水準な動的言語が、特に数値ワークロードにおいて必然的に遅いという仮定に挑戦すること。
• プロトタイプ開発を1つの言語で行い、パフォーマンスやデプロイのための最適化のために別の言語（例：PythonからC）に再実装する必要をなくすこと。
• 複雑な低水準スレーディングやメッセージ渡しを必要とせず、シームレスに高パフォーマンスな並列処理を実現すること。
• 現代の言語設計が、科学計算において機械効率性と人間の利便性の両方を達成できることを示すこと。

提案手法

• 引数の型に基づいて実行時に最も効率的なメソッドを選択する複数ディスパッチを採用し、最適なパフォーマンスを実現する汎用アルゴリズムを可能にする。
• 型推論を用いたジャストインタイム（JIT）コンパイルにより、実行時に最適化された機械語コードを即座に生成し、インタプリタのオーバーヘッドを回避する。
• 汎用プログラミングとユーザー定義型を活用して、数式の抽象的表現をコードに直接表現し、コード再利用性と正しさを促進する。
• BLASおよびLAPACKの高パフォーマンスな線形代数ライブラリを、ユーザーが拡張可能なラッパーを通じて統合し、高水準な構文とパフォーマンスを両立させる。
• マクロを用いて多項式や特殊関数の高パフォーマンスコードを生成し、実行時のコストを低減する。
• ビルトインプリミティブ（例：@parallel）を用いて柔軟で高水準な並列処理を実装し、1から1024プロセッサまでスケーリング可能であり、パフォーマンスコストが生じない。

実験結果

リサーチクエスチョン

• RQ1 高水準で動的型付けの言語が、数値計算においてCやFortranと同等のパフォーマンスを達成できるか？
• RQ2 プロトタイプ開発後にパフォーマンスを最適化するために、低水準言語にコードを再実装する必要をなくすことは可能か？
• RQ3 複数ディスパッチと型推論を併用することで、コードの汎用性と高パフォーマンスを同時に達成できるか？
• RQ4 数値ワークロードにおいて、並列処理をシーケンシャルプログラミングと同等に単純かつ効率的に実現できるか？
• RQ5 コードの明確さと保守性を向上させるために、ベクトル化をコンパイラ最適化による明示的ループで置き換えたり補完したりできるか？

主な発見

• Juliaは、JITコンパイルと型推論により、数値ベンチマークでC並みのパフォーマンスを達成し、高水準言語に一般的に見られるパフォーマンスのペナルティを排除した。
• 複数ディスパッチの活用により、引数の型に基づいて実行時に最も効率的なアルゴリズムを選択でき、最適なパフォーマンスを実現する汎用プログラミングが可能になった。
• トレーシー＝ウィドム分布のモンテカルロシミュレーションは、1プロセッサと1024プロセッサの両方で同じウォールクロック時間で実行され、透明で高パフォーマンスな並列処理が実現した。
• Juliaにおける明示的forループは、型推論とコード生成によりネイティブに近い速度に最適化されており、パフォーマンスのためのベクトル化が不要になった。
• ユーザー定義型と汎用プログラミングにより、数学的抽象的表現をコードに直接表現でき、正しさと保守性が向上した。
• ユーザーが拡張可能なラッパーを通じたBLASおよびLAPACKの統合により、高レベルの構文とポータビリティを損なわず、高パフォーマンスな線形代数処理が可能になった。