[논문 리뷰] Towards new solutions for scientific computing: the case of Julia

M. Tomasi, Mosé Giordano|arXiv (Cornell University)|2018. 12. 04.

Scientific Computing and Data Management인용 수 3

한 줄 요약

이 논문은 천문학 및 천체물리학 분야의 과학적 계산을 위한 고성능, 표현력 있는 프로그래밍 언어로 줄리아(Julia)의 성능을 평가한다. 줄리아는 Just-In-Time 컴파일과 루프 융합을 통해 C/Fortran 수준의 성능를 달성하면서도, Jupyter 노트북을 통한 인터랙티브 개발을 지원함으로써 CMB 위성 미션과 같은 대규모 천체물리학 프로젝트의 효율적인 데이터 분석과 시뮬레이션을 가능하게 한다.

ABSTRACT

This year marks the consolidation of Julia (https://julialang.org/), a programming language designed for scientific computing, as the first stable version (1.0) has been released, in August 2018. Among its main features, expressiveness and high execution speeds are the most prominent: the performance of Julia code is similar to statically compiled languages, yet Julia provides a nice interactive shell and fully supports Jupyter; moreover, it can transparently call external codes written in C, Fortran, and even Python and R without the need of wrappers. The usage of Julia in the astronomical community is growing, and a GitHub organization named JuliaAstro takes care of coordinating the development of packages. In this paper, we present the features and shortcomings of this language and discuss its application in astronomy and astrophysics.

연구 동기 및 목표

• 줄리아가 천문학 및 천체물리학 분야의 과학적 계산에 적합한지 평가하는 것.
• 파이썬, C++, 포트란과 같은 기존 언어와 비교해 줄리아의 성능와 사용성 평가하기.
• 줄리아가 대규모 데이터 워크로드 및 인터랙티브 분석을 처리하는 데 가지는 능력 탐색하기.
• 과학 워크플로우에서 줄리아의 주요 장점과 한계를 규명하는 것.
• 줄리아를 활용한 위성 미션 시뮬레이션과 천체 데이터 처리의 실용적 응용 사례를 제시하는 것.

제안 방법

• 고성능 런타임 성능 달성을 위해 줄리아의 Just-In-Time(JIT) 컴파일과 타입 추론 기능 활용하기.
• 줄리아의 내장 배열 연산과 도트 연산자(.+)를 통한 루프 융합을 활용해 수치 계산 최적화하기.
• 동일한 표현력과 컴파일 타임 자동 기호 미분을 위한 호모이콘성(homoiconicity)과 Zygote 패키지 활용하기.
• ccall 및 래퍼(예: PyPlot.jl, FITSIO.jl)를 통해 C, 포트란, 파이썬, R과의 인터페이스를 구현해 외부 라이브러리 통합하기.
• 기존 단일 모듈 기반의 C++ 코드를 Jupyter 노트북에서 인터랙티브로 사용 가능한 모듈식 줄리아 컴ponent로 재구성하기.
• 대규모 데이터 시뮬레이션(예: CMB 미션 타임라인)에서 기존 C++ 및 파이썬/넘파이 코드와의 성능 비교를 통한 벤치마킹 수행하기.

실험 결과

연구 질문

• RQ1 줄리아는 C와 포트란과 같은 컴파일 언어 수준의 성능를 제공하면서도 고수준의 표현력을 유지할 수 있는가?
• RQ2 줄리아의 루프 융합과 JIT 컴파일 기능이 수치 계산 및 배열 중심의 과학적 계산을 얼마나 효과적으로 가속화하는가?
• RQ3 줄리아는 단일 모듈 기반 과학 코드를 인터랙티브하고 모듈식이며 유지보수 가능한 대체 방식으로 대체할 수 있는가?
• RQ4 컴파일 시간과 생태계의 성숙도 측면에서 줄리아의 과학 워크플로우에서 실질적인 한계는 무엇인가?
• RQ5 줄리아는 위성 미션에서 유래한 대규모 천체 데이터셋과 같은 데이터를 효율적이고 인터랙티브하게 분석할 수 있는가?

주요 결과

• CMB 위성 미션의 데이터 타임라인 시뮬레이션에서 줄리아는 최적화된 C++ 코드 성능의 10% 이내 성능를 달성했다.
• 줄리아의 도트 연산자(.+)를 통한 루프 융합은 단일 루프 실행을 가능하게 하여 포트란 수준의 효율성을 보이며, 넘파이의 다중 루프 방식을 뛰어넘는 성능를 보였다.
• Celeste 프로젝트는 8192개의 노드에서 178TB의 SDSS 데이터를 14.6분 만에 처리하여 대규모 데이터셋에서의 확장성을 입증했다.
• 줄리아의 Jupyter 노트북 통합은 파rameter 공간 탐색을 위한 인터랙티브 탐색을 가능하게 하여 단일 모듈 기반 코드 대비 워크플로우의 유연성을 크게 향상시켰다.
• 짧은 함수를 다수 호출할 경우 줄리아의 컴파일 시간이 문제로 작용해 일부 인터랙티브 스크립트가 동등한 파이썬 코드나 인터프리터 기반 코드보다 느릴 수 있다.
• 스탠드얼론 실행 파일 부재와 성숙한 라이브러리 생태계 부족은 생산 과학 워크플로우에서의 배포 및 보급에 있어 주요 과제로 남아 있다.