[논문 리뷰] Dense Linear Algebra over Finite Fields: the FFLAS and FFPACK packages

Jean‐Guillaume Dumas, Pascal Giorgi외 1명|arXiv (Cornell University)|2006. 01. 31.

Polynomial and algebraic computation참고 문헌 34인용 수 7

한 줄 요약

이 논문은 단어 크기의 소수 체 위에서 조밀한 선형 대수를 위한 고성능 C++ 라이브러리인 FFLAS와 FFPACK을 제안한다. 이들은 최적화된 수치적 커널과 기호적 행렬 곱셈 알고리즘을 활용하여 수치 BLAS 수준의 효율성을 달성한다. 주요 기여는 정확한 선형 대수를 유한 체에서 수행할 때, 철저한 산술 관리와 Winograd과 같은 빠른 알고리즘의 하이브리드 사용을 통해 수치 BLAS의 성능을 재현할 수 있음을 입증한 것이다. 이는 최적의 점근적 복잡도를 확보하면서도 실용적인 성능 향상을 이룬다.

ABSTRACT

In the past two decades, some major efforts have been made to reduce exact (e.g. integer, rational, polynomial) linear algebra problems to matrix multiplication in order to provide algorithms with optimal asymptotic complexity. To provide efficient implementations of such algorithms one need to be careful with the underlying arithmetic. It is well known that modular techniques such as the Chinese remainder algorithm or the p-adic lifting allow very good practical performance, especially when word size arithmetic are used. Therefore, finite field arithmetic becomes an important core for efficient exact linear algebra libraries. In this paper, we study high performance implementations of basic linear algebra routines over word size prime fields: specially the matrix multiplication; our goal being to provide an exact alternate to the numerical BLAS library. We show that this is made possible by a carefull combination of numerical computations and asymptotically faster algorithms. Our kernel has several symbolic linear algebra applications enabled by diverse matrix multiplication reductions: symbolic triangularization, system solving, determinant and matrix inverse implementations are thus studied.

연구 동기 및 목표

• 단어 크기의 소수 체 위에서 수치 BLAS의 효율성에 맞는 고성능 정확한 선형 대수 라이브러리를 개발하는 것.
• 빠른 행렬 곱셈으로 문제를 환원함으로써 정확한 선형 대수에서 최적의 점근적 복잡도를 달성하는 것.
• 하드웨어 최적화된 수치적 커널을 사용하여 기호 계산과 수치 계산을 연결하는 것.
• 조밀한 선형 대수를 위한 실용적이고 이식 가능하며 자동으로 튜닝된 구현을 제공하는 것, 단어 크기의 소수 체 위에서

제안 방법

• 수치 BLAS 라이브러리(예: ATLAS)를 소수 체 산술의 저수준 커널로 사용하여 변환 오버헤드를 최소화하는 것.
• 홀수 차원을 처리하기 위해 재귀적 블록 분할과 동적 벗기기(dynamic peeling)를 적용한 Winograd의 기호적 행렬 곱셈 알고리즘 채택.
• 중간 계산 동안 오버플로우를 최소화하고 정밀도를 유지하기 위해 지연된 감소 기법을 사용하는 것.
• 데이터 국소성을 극대화하고 메모리 접근을 줄이기 위해 Winograd 알고리즘에 캐스케이드 구조와 스케줄링을 설계하는 것.
• 환원형 사상과 모듈로 산술을 적용하여 수치 기초 연산을 통해 정확한 계산을 수행하는 것.
• 행렬 행렬식, 역행렬, 분해와 같은 기호 루틴에 빠른 알고리즘(예: Strassen 유사 알고리즘)을 통합하는 것.

실험 결과

연구 질문

• RQ1 단어 크기의 소수 체 위에서 정확한 선형 대수는 수치 BLAS와 비교해 유사한 성능을 달성할 수 있는가?
• RQ2 기호적 행렬 곱셈은 어떻게 최적화하여 수치적 행렬 곱셈의 속도에 맞출 수 있는가?
• RQ3 기호적 행렬 곱셈에서 중간 오버플로우를 관리하는 데 최적의 전략은 무엇인가?
• RQ4 정확한 산술에 대해 성능이나 정확도를 희생시키지 않고 수치 BLAS 커널을 얼마나 재사용할 수 있는가?
• RQ5 Winograd과 같은 빠른 알고리즘이 정확한 선형 대수를 위한 유한 체에서 실제로 얼마나 잘 작동하는가?

주요 결과

• 단어 크기의 소수 체 위에서 기호적 행렬 곱셈은 수치 BLAS 수준의 성능을 달성할 수 있으며, 일부 경우에서 측정된 성능 향상이 최대 1.5배에 이르렀다.
• FFLAS와 FFPACK 라이브러리는 최적화된 수치적 커널과 철저한 산술 관리를 통해 정확한 선형 대수를 수치 선형 대수만큼 빠르게 수행할 수 있음을 입증한다.
• 동적 벗기기와 지연된 감소를 적절히 조정한 Winograd 알고리즘은 최적의 중간 값 범위를 확보하고 오버플로우를 방지한다.
• 이 구현은 행렬식, 역행렬, 모어-펜로즈 의사역행렬 등 기호 선형 대수의 전반적인 연산을 지원하며, 수치 루틴과 유사한 성능을 보인다.
• 중간 값에 대한 이론적 상한이 최적임을 증명하였고, 최악의 경우 상한에 도달하는 행렬의 시퀀스를 구성함으로써 분석의 날카로움을 확인하였다.
• 정수 산술의 성능 저하를 피하기 위해 고도로 최적화된 수치적 커널을 재사용함으로써, 현대 아키텍처에서 순수 정수 산술 대비 2–4배의 성능 향상을 달성하였다.