[논문 리뷰] Linnea: Automatic Generation of Efficient Linear Algebra Programs

Henrik Barthels, Christos Psarras외 1명|arXiv (Cornell University)|2019. 12. 30.

Parallel Computing and Optimization Techniques참고 문헌 50인용 수 4

한 줄 요약

Linnea는 고수준 선형 대수 표현식을 최적화된 BLAS 및 LAPACK 커널 호출 시퀀스로 자동으로 변환하는 코드 생성기입니다. 기호 재작성 규칙과 최적 우선 탐색 알고리즘을 사용하여, MATLAB, Julia, Eigen, Armadillo와 같은 고수준 언어보다 최대 10배 빠른 성능을 보이며 125개의 테스트 문제에서 정확하고 효율적인 코드를 생성합니다.

ABSTRACT

The translation of linear algebra computations into efficient sequences of library calls is a non-trivial task that requires expertise in both linear algebra and high-performance computing. Almost all high-level languages and libraries for matrix computations (e.g., Matlab, Eigen) internally use optimized kernels such as those provided by BLAS and LAPACK; however, their translation algorithms are often too simplistic and thus lead to a suboptimal use of said kernels, resulting in significant performance losses. In order to combine the productivity offered by high-level languages, and the performance of low-level kernels, we are developing Linnea, a code generator for linear algebra problems. As input, Linnea takes a high-level description of a linear algebra problem; as output, it returns an efficient sequence of calls to high-performance kernels. Linnea uses a custom best-first search algorithm to find a first solution in less than a second, and increasingly better solutions when given more time. In 125 test problems, the code generated by Linnea almost always outperforms Matlab, Julia, Eigen and Armadillo, with speedups up to and exceeding 10x.

연구 동기 및 목표

• 고수준 선형 대수 추상화와 BLAS, LAPACK과 같은 저수준 최적화 커널 사이의 성능 격차를 해소하기 위해.
• 고성능 컴퓨팅 전문 지식 없이도 수학적 표현식을 효율적이고 정확한 라이브러리 호출 시퀀스로 변환하는 것을 자동화하기 위해.
• 성능을 위해 수작업으로 최적화하는 데 드는 수고와 실수의 위험을 줄이기 위해.
• 기호 최적화와 도메인 특화 지식을 활용하여 비전문가와 전문가 모두가 고성능 코드를 생성할 수 있도록 하기 위해.
• 고수준 표현력과 저수준 성능을 융합함으로써 과학 계산의 생산성을 향상시키기 위해.

제안 방법

• 행렬, 벡터, 스칼라 및 덧셈, 곱셈, 전치, 역행렬 등 연산을 포함한 고수준 선형 대수 표현식을 입력으로 수락합니다.
• 대수 항등식(예: 분배법칙, 부분식 재사용)을 적용하기 위해 기호 조작과 재작성 규칙을 사용하여 성능 최적화를 수행합니다.
• 가능한 코드 시퀀스의 공간을 탐색하기 위해 맞춤형 최적 우선 탐색 알고리즘을 사용하며, 효율적인 해를 우선순위로 정합니다.
• Julia 코드를 출력으로 생성하여 Julia의 효율적인 BLAS/LAPACK 래퍼와 확장성 덕분에 고성능을 달성합니다.
• 행렬 성질(예: SPD, 삼각형, 대칭)을 주석으로 지원하여 커널 선택과 최적화를 안내합니다.
• 비용 모델을 사용하여 탐색을 안내하며, 탐색 분기의 융합을 통해 시간이 지남에 따라 해의 품질을 향상시킵니다.

실험 결과

연구 질문

• RQ1 기호 기반 코드 생성기가 MATLAB, Julia, Eigen, Armadillo와 같은 고수준 언어보다 더 효율적인 선형 대수 코드를 자동으로 생성할 수 있는가?
• RQ2 기호 재작성 규칙과 함께 최적 우선 탐색 전략이 효율적인 코드 시퀀스를 발견하는 데 얼마나 효과적인가?
• RQ3 선형 대수 표현식의 자동 최적화가 난이도 높은 번역으로 인한 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 행렬 성질(예: SPD, 삼각형)의 통합이 코드 생성 품질을 어떻게 향상시키는가?
• RQ5 자동 선형 대수 코드 합성의 맥락에서 생성 시간과 코드 품질 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 125개의 테스트 문제에서 Linnea가 생성한 코드는 MATLAB, Julia, Eigen, Armadillo를 항상 초월했으며, 최대 10배 이상의 성능 향상을 보였습니다.
• Linnea는 1초 이내에 해를 찾고, 더 많은 시간이 흐르면서도 계속 개선을 이어가며 최적화 공간 내에서 효율적인 탐색을 보여주었습니다.
• 기호 재작성 규칙의 사용 덕분에 정확한 코드 생성이 가능해졌으며, 수작업 최적화에서 흔히 발생하는 정확성 문제를 피할 수 있었습니다.
• SPD, 삼각형 등 행렬 성질의 통합 덕분에 Linnea는 Cholesky나 전용 해법기와 같은 최적의 커널을 선택할 수 있었고, 계산 비용을 감소시킬 수 있었습니다.
• Eigen과 Armadillo와 같은 라이브러리에서 최적화된 함수를 사용한 경우조차도, Linnea가 생성한 코드는 난이도 높은 번역과 추천 구현보다 더 효율적이었습니다.
• 비용 모델이 탐색을 효과적으로 안내했으며, 탐색 분기의 융합이 시간이 지남에 따라 해의 품질을 향상시켰습니다.