[論文レビュー] Julia: A Fast Dynamic Language for Technical Computing

Anderson, Todd A., Liu, Hai+4 more|arXiv (Cornell University)|Sep 24, 2012

Parallel Computing and Optimization Techniques参考文献 24被引用数 662

ひとこと要約

Juliaは、LLVMを用いたJust-in-Time（JIT）コンパイル、動的多重ディスpatch、そして積極的な型推論を活用することで、Cに匹敵する速度を達成する高性能な動的言語である。ジェネリック関数からの豊富な型情報を利用し、実行時におけるコードの特化を可能にすることで、JuliaはC++のような静的に最適化された言語と同等のパフォーマンスを実現しながら、開発生産性を維持する。また、標準ライブラリの大部分をJulia自身で記述可能である。

ABSTRACT

Computational scientists often prototype software using productivity languages that offer high-level programming abstractions. When higher performance is needed, they are obliged to rewrite their code in a lower-level efficiency language. Different solutions have been proposed to address this trade-off between productivity and efficiency. One promising approach is to create embedded domain-specific languages that sacrifice generality for productivity and performance, but practical experience with DSLs points to some road blocks preventing widespread adoption. This paper proposes a non-invasive domain-specific language that makes as few visible changes to the host programming model as possible. We present ParallelAccelerator, a library and compiler for high-level, high-performance scientific computing in Julia. ParallelAccelerator's programming model is aligned with existing Julia programming idioms. Our compiler exposes the implicit parallelism in high-level array-style programs and compiles them to fast, parallel native code. Programs can also run in "library-only" mode, letting users benefit from the full Julia environment and libraries. Our results show encouraging performance improvements with very few changes to source code required. In particular, few to no additional type annotations are necessary.

研究の動機と目的

• 技術計算分野における高レベルの動的言語と低レベルのシステム言語の間のパフォーマンス格差を解消すること。
• 2段階アーキテクチャの必要性を排除し、生産性を損なわずに動的言語でも高いパフォーマンスを達成すること。
• 高度な型推論とコード特化を通じて、高パフォーマンスを維持しながら、標準ライブラリを言語自体で完全に実装可能にすること。
• 動的機能がコンパイラ最適化を妨げない言語設計を実現し、表現力の損なわれない効率的な実行を可能にすること。

提案手法

• コンパイラに豊富な型情報を自然に露わにするためのコア抽象化メカニズムとして、動的多重ディスpatchを採用すること。
• LLVMインfraを活用したJust-in-Time（JIT）コンパイルにより、実行時に最適化されたネイティブコードを生成すること。
• 実行時型に基づく積極的なメソッド特化を実施し、各メソッドをコンパイラが自動的にインスタンシエートする汎用テンプレートとして扱うこと。
• メソッド特化の制御と不要なコンパイルオーバーヘッドの低減のため、型に基づくヒューリスティクスを導入すること。
• 64ビットシステムにおけるメモリ使用量の削減を目的に、抽象構文木（AST）と型メタデータをコンパクトなシリアル化形式で保存すること。
• 不変型、変更不能な値、再結合されないローカル環境を備えた言語設計により、効率的なデータフロー解析と最適化を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 高レベルの動的言語が、C++のような静的にコンパイルされた言語と同等のパフォーマンスを達成しつつ、インタラクティブで生産性の高い開発を維持できるか。
• RQ2 豊富な型システムと多重ディスpatchは、動的言語において効果的な型推論とコード特化を可能にするか。
• RQ3 パフォーマンスのペナルティなしに、技術計算用の完全な標準ライブラリを言語自体で実装することが可能か。
• RQ4 JITコンパイルされた動的言語において、ヒューリスティクスはコンパイルオーバーヘッドとメモリ使用量の低減にどの程度効果的か。
• RQ5 最小限の静的型指定を要する動的言語でも、知的な推論と特化により、高パフォーマンスな数値計算が可能か。

主な発見

• スカラーベンチマークではJuliaがC++と同等のパフォーマンスを達成しており、JavaScriptとJuliaの両方が『pi sum』テストでC++を上回っているが、その理由は未解明のままである。
• 5×5行列を含む配列ベンチマークでは、Juliaが呼び出しサイトの特化能力を活かし、Juliaで書かれたライブラリ関数を使用しても優位性を示している。
• BLAS最適化済みの『rand mat mul』ベンチマークでは、MATLABのマルチスレッドBLASが優位性を発揮しているが、Juliaのパフォーマンスも依然として競争力がある。
• Juliaの標準ライブラリにおける型推論は、特定の型を持つ式の96％に対して明確な型を推論しており、実際には強い静的型付けが実現されていることが示唆される。
• 特化ヒューリスティクスにより、メソッドコンパイル回数が約12％削減されたことから、コンパイルオーバーヘッドの制御に有効であることが実証された。
• Juliaのランタイムメモリ使用量は、起動およびライブラリロード後、150–200 MBに安定し、ASTと型情報の効率的なシリアル化によりフットプリントが削減されている。