[논문 리뷰] The Linear Algebra Mapping Problem

Christos Psarras, Henrik Barthels외 1명|arXiv (Cornell University)|2019. 11. 21.

Parallel Computing and Optimization Techniques참고 문헌 38인용 수 7

한 줄 요약

이 논문은 고수준 선형 대수 코드와 저수준 최적화 라이브러리 간의 성능 격차를 규명하는 선형 대수 매핑 문제를 제안한다. MATLAB, 줄리아, NumPy와 같은 언어들이 고수준 행렬 표현식을 효율적인 커널 호출로 번역하는 방식을 평가하며, 현재 컴파일러와 인터프리터에서의 상당한 비최적화 문제를 드러내고, 이 격차를 줄이기 위한 언어 및 라이브러리 설계 지침을 제시한다.

ABSTRACT

We observe a disconnect between the developers and the end users of linear algebra libraries. On the one hand, the numerical linear algebra and the high-performance communities invest significant effort in the development and optimization of highly sophisticated numerical kernels and libraries, aiming at the maximum exploitation of both the properties of the input matrices, and the architectural features of the target computing platform. On the other hand, end users are progressively less likely to go through the error-prone and time consuming process of directly using said libraries by writing their code in C or Fortran; instead, languages and libraries such as Matlab, Julia, Eigen and Armadillo, which offer a higher level of abstraction, are becoming more and more popular. Users are given the opportunity to code matrix computations with a syntax that closely resembles the mathematical description; it is then a compiler or an interpreter that internally maps the input program to lower level kernels, as provided by libraries such as BLAS and LAPACK. Unfortunately, our experience suggests that in terms of performance, this translation is typically vastly suboptimal. In this paper, we first introduce the Linear Algebra Mapping Problem, and then investigate how effectively a benchmark of test problems is solved by popular high-level programming languages. Specifically, we consider Matlab, Octave, Julia, R, Armadillo (C++), Eigen (C++), and NumPy (Python); the benchmark is meant to test both standard compiler optimizations such as common subexpression elimination and loop-invariant code motion, as well as linear algebra specific optimizations such as optimal parenthesization of a matrix product and kernel selection for matrices with properties. The aim of this study is to give concrete guidelines for the development of languages and libraries that support linear algebra computations.

연구 동기 및 목표

• 고수준 선형 대수 추상화와 BLAS 및 LAPACK과 같은 저수준 최적화 라이브러리 간의 성능 격차를 규명하기 위해.
• 인기 있는 고수준 언어들이 고수준 행렬 표현식을 효율적인 저수준 커널으로 얼마나 잘 매핑하는지 조사하기 위해.
• 일般 컴파일러 최적화와 선형 대수 전용 최적화가 성능에 미치는 영향을 평가하기 위해.
• 미래의 선형 대수 계산을 위한 언어와 라이브러리 개선을 위한 구체적인 지침을 제공하기 위해.

제안 방법

• 연구는 선형 대수 매핑 문제를 고수준 행렬 표현식을 최적의 저수준 커널 호출로 효율적으로 번역하는 과제로 정의한다.
• 공통 부분식 제거, 루프 불변 코드 이동, 최적의 괄호 배열과 같은 행렬 전용 최적화를 지원하는지 평가하기 위해 테스트 문제의 벤치마크를 설계한다.
• MATLAB, Octave, Julia, R, Armadillo(C++), Eigen(C++), NumPy(Python) 등 여러 언어에서 벤치마크를 실행한다.
• 실행 시간을 알려진 최적의 커널 사용 방식과 비교하여 성능을 측정하며, 일반 최적화와 선형 대수 전용 최적화의 영향을 평가한다.
• 특히 특수한 성질을 가진 행렬에 대해 컴파일러와 인터프리터가 수학적 표기법을 효율적인 수치 커널로 얼마나 잘 매핑하는지에 중점을 둔다.

실험 결과

연구 질문

• RQ1 고수준 언어들은 얼마나 잘 행렬 표현식을 최적의 BLAS 및 LAPACK 커널으로 매핑하는가?
• RQ2 현재 컴파일러와 인터프리터는 선형 대수 코드에서 공통 부분식 제거와 루프 불변 코드 이동을 얼마나 잘 활용하는가?
• RQ3 특정 성질을 가진 행렬에 대해 언어들은 적절한 커널을 얼마나 효과적으로 선택하는가?
• RQ4 고수준 구문에서 저수준 커널으로의 번역 과정에서 성능 저하 요인이 무엇인가?

주요 결과

• 고수준 행렬 표현식에서 저수준 커널으로의 번역 과정은 일반적으로 매우 비최적화되어 있어 상당한 성능 저하를 초래한다.
• 고도로 발전한 고수준 언어를 사용하더라도, 최적 실행과 실제 실행 간의 성능 격차는 여전히 크다.
• 공통 부분식 제거와 루프 불변 코드 이동은 선형 대수 맥락에서 자주 효과적으로 적용되지 않는다.
• 행렬 곱의 최적 괄호 배열과 행렬 성질에 기반한 커널 선택은 일반적으로 현재 컴파일러와 인터프리터에 의해 간과된다.