[论文解读] Julia: A Fresh Approach to Numerical Computing

Jeff Bezanson, Alan Edelman+2 more|arXiv (Cornell University)|Nov 6, 2014

Parallel Computing and Optimization Techniques参考文献 20被引用 97

一句话总结

Julia 提出了一种高层级、动态类型的编程语言，通过多分派、类型推断和即时（JIT）编译实现类似 C 语言的性能，从而在不牺牲程序员生产力的前提下实现快速的数值计算。其主要贡献在于证明了高层级代码既可以为人所读，又可高效执行机器代码，消除了将性能关键代码重写为低级语言的需要。

ABSTRACT

Bridging cultures that have often been distant, Julia combines expertise from the diverse fields of computer science and computational science to create a new approach to numerical computing. Julia is designed to be easy and fast. Julia questions notions generally held as "laws of nature" by practitioners of numerical computing: 1. High-level dynamic programs have to be slow. 2. One must prototype in one language and then rewrite in another language for speed or deployment, and 3. There are parts of a system for the programmer, and other parts best left untouched as they are built by the experts. We introduce the Julia programming language and its design --- a dance between specialization and abstraction. Specialization allows for custom treatment. Multiple dispatch, a technique from computer science, picks the right algorithm for the right circumstance. Abstraction, what good computation is really about, recognizes what remains the same after differences are stripped away. Abstractions in mathematics are captured as code through another technique from computer science, generic programming. Julia shows that one can have machine performance without sacrificing human convenience.

研究动机与目标

• 通过统一高层级表达能力与低级执行速度，解决数值计算中长期存在的性能-生产力权衡问题。
• 挑战高阶动态语言在数值工作负载下必然缓慢的假设。
• 消除在一种语言中进行原型设计后，为性能或部署而将代码重写为另一种语言（如从 Python 重写为 C）的需要。
• 在无需复杂低级线程或消息传递机制的情况下，实现无缝的高性能并行计算。
• 证明现代语言设计可以在科学计算中同时实现机器效率与人类便利性。

提出的方法

• 利用多分派在运行时根据参数类型选择最高效的函数实现，从而在保持通用算法的同时实现最优性能。
• 通过类型推断实现即时（JIT）编译，动态生成优化后的机器代码，避免解释器的开销。
• 利用泛型编程和用户自定义类型，直接在代码中表达数学抽象，提升代码复用性和正确性。
• 通过用户可扩展的包装器实现对 BLAS 和 LAPACK 的集成，同时保持高层级语法和高性能线性代数计算。
• 使用宏为多项式和特殊函数生成高性能代码，降低运行时开销。
• 通过内置原语（如 @parallel）支持灵活的高层级并行计算，实现从 1 到 1024 个处理器的透明扩展，且无性能损失。

实验结果

研究问题

• RQ1 高层级、动态类型的编程语言是否能在数值计算中实现与 C 或 Fortran 相当的性能？
• RQ2 是否可以消除在高层级语言中进行原型设计后，为性能而将关键代码重写为低级语言的需要？
• RQ3 多分派和类型推断能否同时实现代码通用性与高性能？
• RQ4 在数值工作负载中，如何使并行计算的复杂度和效率与顺序编程相当？
• RQ5 编译器优化是否可以替代或补充显式循环的向量化，以提升代码清晰度和可维护性？

主要发现

• 通过 JIT 编译和类型推断，Julia 在数值基准测试中实现了类似 C 的性能，消除了高层级语言通常存在的性能损失。
• 多分派的使用使 Julia 能够根据参数类型在运行时选择最高效的算法，从而在保持通用性的同时实现最优性能。
• 对 Tracy-Widom 分布的蒙特卡洛模拟在 1024 个处理器上的运行时间与单个处理器完全相同，证明了并行计算的透明性和高性能。
• Julia 中的显式 for 循环通过类型推断和代码生成被优化至接近原生速度，使得为性能而进行向量化变得不再必要。
• 用户自定义类型和泛型编程使数学抽象可直接在代码中表达，提升了正确性和可维护性。
• 通过用户可扩展的包装器集成 BLAS 和 LAPACK，实现了高性能线性代数计算，同时保持了高层级语法和可移植性。