[논문 리뷰] On fast matrix-vector multiplication with a Hankel matrix in multiprecision arithmetics

Gleb Beliakov|arXiv (Cornell University)|2014. 02. 21.

Matrix Theory and Algorithms참고 문헌 9인용 수 3

한 줄 요약

이 논문은 고정밀 산술에서 표준 FFT 기반 방법이 높은 정밀도 오버헤드로 인해 비효율적이게 되는 상황에서 헨켈 행렬에 대한 빠른 행렬-벡터 곱셈을 위한 두 가지 효율적인 알고리즘을 제시한다. 첫 번째 방법은 다중정밀도 수를 더하기 위한 이중정밀도 구성요소로 분해하여 표준 FFT 루틴을 활용한다. 두 번째 방법은 O(n^log 3) 복잡도를 지닌 카라츠바 유사 재귀적 접근을 사용하여 고정밀 환경에서 더 뛰어난 성능과 정확도를 제공한다.

ABSTRACT

We present two fast algorithms for matrix-vector multiplication $y=Ax$, where $A$ is a Hankel matrix. The current asymptotically fastest method is based on the Fast Fourier Transform (FFT), however in multiprecision arithmetics with very high accuracy FFT method is actually slower than schoolbook multiplication for matrix sizes up to $n=8000$. One method presented is based on a decomposition of multiprecision numbers into sums, and applying standard or double precision FFT. The second method, inspired by Karatsuba multiplication, is based on recursively performing multiplications with matrices of half-size of the original. Its complexity in terms of the matrix size $n$ is $Θ(n^{\log 3})$. Both methods are applicable to Toeplitz matrices and to circulant matrices.

연구 동기 및 목표

• 고정밀 산술에서 높은 계산 오버헤드와 중첩된 FFT 호출로 인해 FFT 기반 행렬-벡터 곱셈이 비효율적이게 되는 문제를 해결한다.
• 큰 행렬 크기에서 고정밀 환경에서 표준 FFT와 스쿨북 곱셈보다 뛰어난 성능을 보이는 대안 알고리즘을 개발한다.
• 표준 FFT를 다중정밀 수에 적용할 때 흔히 발생하는 중간 단계의 정밀도 손실을 방지함으로써 수치적 정확도를 확보한다.
• 간단한 구현이 가능하고 고성능 컴퓨팅에 적합한 병렬화 가능성을 고려한 방법을 설계한다.
• 헨켈 행렬과의 구조적 동치성을 통해 토플리츠 행렬과 순환 행렬으로의 적용 가능성을 확장한다.

제안 방법

• 헨켈 행렬과 벡터의 각 다중정밀도 수를 표준 정밀도 FFT 라이브러리 사용이 가능한 더하기 형태의 이중정밀도 구성요소로 분해한다.
• 구성요소별 FFT 결과에서 최종 결과를 재구성하여 중간 단계에서의 반올림을 방지하고 전체 정밀도 출력을 보장한다.
• 카라츠바 곱셈을 영감으로 삼은 재귀적 알고리즘을 제안하여 각 재귀 단계에서 네 번의 곱셈을 세 번으로 줄인다.
• 입력 벡터와 헨켈 행렬을 크기 n/2의 더 작은 하위 문제로 재귀적으로 분할하고, 선형 조합을 통해 보조 벡터를 형성한다.
• 분할 정복 접근 방식을 사용하여 곱셈 결과를 세 개의 더 작은 헨켈 행렬에 대한 재귀 호출 결과의 조합으로 계산하고, 덧셈/뺄셈 단계를 이어받는다.
• 세 개의 독립적인 재귀 호출이 각각 별도의 스레드에서 동시에 실행될 수 있도록 하여 병렬 실행을 가능하게 하며, 균형 잡힌 작업 분배와 부하 불균형을 방지한다.

실험 결과

연구 질문

• RQ1 FFT 기반 행렬-벡터 곱셈이 금전적 오버헤드 없이 다중정밀 산술에 효과적으로 적용될 수 있는가?
• RQ2 O(n^log 3) 복잡도를 지닌 카라츠바 유사 재귀 알고리즘이 고정밀 환경에서 FFT 및 스쿨북 곱셈보다 뛰어나게 성능을 냅니다?
• RQ3 제안된 알고리즘은 다중정밀 수에 적용된 표준 FFT에서 흔히 발생하는 상쇄 오류를 피하면서도 전체 정밀도를 유지할 수 있는가?
• RQ4 재귀 알고리즘은 부하 불균형이나 상당한 동기화 비용을 유발하지 않고 어느 정도까지 병렬화될 수 있는가?
• RQ5 다중정밀 산술에서 덧셈과 곱셈의 계산 비용은 어떻게 스케일링되며, 이를 곱셈 횟수가 적은 알고리즘의 우월성을 유리하게 활용할 수 있는가?

주요 결과

• 이중정밀도 구성요소로 분해한 FFT 기반 방법은 O(n log n) 복잡도를 달성하며 기존 최적화된 FFT 라이브러리를 활용하지만, 중간 단계의 상쇄 오류로 인해 정확도 손실 위험이 있다.
• 카라츠바 유사 재귀 알고리즘은 O(n^log 3) 복잡도를 달성하며, n > 2인 경우 최대 3n^log 3회의 곱셈과 4n^log 3회의 덧셈이 이론적으로 필요하다.
• 모든 n > 3에 대해 다중정밀 산술에서 덧셈과 곱셈의 상대적 비용에 관계없이 이 알고리즘은 스쿨북 곱셈보다 계산적으로 더 효율적이다.
• 알고리즘은 본질적으로 병렬화 가능하며, 세 개의 독립적인 재귀 호출이 각각 동일한 작업을 처리하는 별도의 스레드나 머신에서 동시에 실행될 수 있다.
• 이 방법은 전체 과정에서 전체 정밀도 계산을 보장하여 FFT 분해 방법에서 흔히 발생하는 중간 정밀도 감소로 인한 정확도 저하를 방지한다.
• 실제 성능을 비교하기 위해 실증 평가를 계획 중이며, 특히 n = 8000 이하의 행렬 크기와 10,000자리 정밀도 수준에서의 성능을 분석할 예정이다.