[논문 리뷰] Julia: A Fresh Approach to Numerical Computing

Jeff Bezanson, Alan Edelman외 2명|arXiv (Cornell University)|2014. 11. 06.

Parallel Computing and Optimization Techniques참고 문헌 20인용 수 97

한 줄 요약

Julia는 다형적 타입 지정, 타입 추론, 즉시 컴파일(JIT) 컴파일을 통해 C 수준의 성능을 달성하는 고수준의 프로그래밍 언어를 제안한다. 이는 프로그래머의 생산성을 희생시키지 않은 채 빠른 수치 계산을 가능하게 하며, 고수준 코드가 인간이 읽기 쉽게 구성되면서도 기계적으로 효율적일 수 있음을 입증한다. 주요 기여는 고수준 코드가 인간이 읽기 쉽게 구성되면서도 기계적으로 효율적일 수 있음을 보여주며, 성능에 민감한 코드를 저수준 언어로 다시 작성할 필요가 없음을 의미한다.

ABSTRACT

Bridging cultures that have often been distant, Julia combines expertise from the diverse fields of computer science and computational science to create a new approach to numerical computing. Julia is designed to be easy and fast. Julia questions notions generally held as "laws of nature" by practitioners of numerical computing: 1. High-level dynamic programs have to be slow. 2. One must prototype in one language and then rewrite in another language for speed or deployment, and 3. There are parts of a system for the programmer, and other parts best left untouched as they are built by the experts. We introduce the Julia programming language and its design --- a dance between specialization and abstraction. Specialization allows for custom treatment. Multiple dispatch, a technique from computer science, picks the right algorithm for the right circumstance. Abstraction, what good computation is really about, recognizes what remains the same after differences are stripped away. Abstractions in mathematics are captured as code through another technique from computer science, generic programming. Julia shows that one can have machine performance without sacrificing human convenience.

연구 동기 및 목표

• 수치 계산에서 오랫동안 지속된 성능-생산성의 상충 관계를 해결하기 위해 고수준의 표현력과 저수준의 속도를 통합하고자 한다.
• 고수준의 동적 언어가 반드시 느리다고 보는 가정을 도전하고자 하며, 특히 수치 계산 워크로드에 대해 그렇다.
• 프로토타ип링을 한 언어로 하고 성능 향상을 위해 다른 언어로 다시 작성하는 것(예: Python에서 C로)의 필요성을 제거하고자 한다.
• 복잡한 저수준 스레딩이나 메시지 전달 없이도 원활한 고성능 병렬 처리를 가능하게 하고자 한다.
• 현대적 언어 설계가 과학 계산 분야에서 기계적 효율성과 인간의 편리함을 동시에 달성할 수 있음을 입증하고자 한다.

제안 방법

• 인자 타입에 따라 런타임에 가장 효율적인 메서드를 선택하는 다형적 디스패치를 사용하여, 최적의 성능을 갖춘 일반 알고리즘을 구현한다.
• 타입 추론을 사용한 즉시 컴파일(JIT) 컴파일을 통해 런타임에 최적화된 기계어 코드를 생성함으로써 인터프리터 오버헤드를 피한다.
• 일반 프로그래밍과 사용자 정의 타입을 활용하여 수학적 추상화를 코드에 직접 표현함으로써 코드 재사용성과 정확성을 증진한다.
• BLAS와 LAPACK를 위한 사용자 확장 가능한 래퍼를 구현하여 고도로 최적화된 선형 대수 라이브러리를 유지하면서도 고수준의 문법을 그대로 유지한다.
• 매크로를 사용하여 다항식과 특수 함수에 대해 고성능 코드를 생성함으로써 런타임 비용을 감소시킨다.
• 빌트인 원자 명령어(@parallel 등)를 통해 민감한 병렬 처리를 가능하게 하여 1에서 1024개의 프로세서로의 스케일링이 성능 손실 없이 투명하게 이루어지도록 한다.

실험 결과

연구 질문

• RQ1 고수준의 동적 타입 지정 언어가 수치 계산에서 C나 Fortran 수준의 성능을 달성할 수 있는가?
• RQ2 고수준 언어로 프로토타입을 구현한 후 성능 향상을 위해 저수준 언어로 다시 작성할 필요가 없는가?
• RQ3 다형적 디스패치와 타입 추론을 동시에 사용하여 코드의 일반성과 고성능을 동시에 달성할 수 있는가?
• RQ4 수치 계산 워크로드에서 병렬 처리를 순차적 프로그래밍만큼 단순하고 효율적으로 만들 수 있는가?
• RQ5 벡터화를 컴파일러 최적화로 대체하거나 보완하여 명시적 for-루프를 통해 코드의 명확성과 유지보수성을 향상시킬 수 있는가?

주요 결과

• Julia는 JIT 컴파일과 타입 추론을 통해 수치 벤치마크에서 C 수준의 성능을 달성하여 고수준 언어의 일반적인 성능 저하를 제거한다.
• 다형적 디스패치를 사용함으로써 Julia는 런타임에 인자 타입에 따라 가장 효율적인 알고리즘을 선택할 수 있어, 최적의 성능을 갖춘 일반 알고리즘을 제공한다.
• Tracy-Widom 법칙에 대한 몬테카를로 시뮬레이션은 1개 프로세서에서와 1024개 프로세서에서 동일한 월클록 시간 내에 실행되어, 투명하고 고성능의 병렬 처리를 입증한다.
• Julia의 명시적 for-루프는 타입 추론과 코드 생성을 통해 네이티브 수준에 가까운 속도로 최적화되어 있어, 성능을 위해 벡터화가 필요하지 않다.
• 사용자 정의 타입과 일반 프로그래밍을 통해 수학적 추상화를 코드에 직접 표현할 수 있어 정확성과 유지보수성 향상에 기여한다.
• 사용자 확장 가능한 래퍼를 통한 BLAS와 LAPACK 통합은 고성능 선형 대수 연산을 고수준 문법과 이식성 손실 없이 제공한다.