[논문 리뷰] A Parallel Algorithm for Calculation of Large Determinants with High Accuracy for GPUs and MPI clusters

Gleb Beliakov, Yuri Matiyasevich|arXiv (Cornell University)|2013. 08. 07.

Digital Image Processing Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 GPU와 MPI 클러스터에서 임의 정밀도로 큰 행렬식과 관련된 소행렬식을 계산하기 위한 새로운 병렬 알고리즘을 제시한다. 고안된 알고리즘은 최적화된 데이터 배포 방식을 활용한 가우스 소거법에 기반하며, 최대 168개의 코어에서 거의 선형적 스케일링을 달성한다. 이 알고리즘은 10,000자리 정밀도로 N=12,000 크기의 행렬식을 성공적으로 계산하여 리만 제타 함수의 영 분포에 대한 새로운 통찰을 가능하게 한다.

ABSTRACT

We present a parallel algorithm for calculating very large determinants with arbitrary precision on computer clusters. This algorithm minimises data movements between the nodes and computes not only the determinant but also all minors corresponding to a particular row or column at a little extra cost, and also the determinants and minors of all submatrices in the top left corner at no extra cost. We implemented the algorithm in arbitrary precision arithmetic, suitable for very ill conditioned matrices, and empirically estimated the loss of precision. The algorithm was applied to studies of Riemann's zeta function.

연구 동기 및 목표

• 리만 제타 함수 연구를 위해 매우 큰, 불안정한 조건을 가진 행렬식을 극도로 정밀하게(최대 10,000진수 자리) 계산하는 데 도전하는 것.
• 분산 환경에서 노드 간 데이터 이동을 최소화하면서도 높은 수치 정확도를 유지하는 것.
• 행렬식 외에도 주어진 행 또는 열에 대한 모든 소행렬식과 모든 주어진 주소행렬식(상위 왼쪽 부분행렬의 행렬식)을 추가 비용 없이 계산하는 것.
• 불안정한 행렬에 대해 고정밀 산술에서 가우스 소거법 동안 정밀도 손실을 실증적으로 추정할 수 있도록 하는 것.
• 리만 제타 함수의 비자명한 영의 분포를 연구하기 위해 아트리스 방법을 지원하기 위해 고정밀도 행렬식 계산을 가능하게 하는 것.

제안 방법

• 특정 열 또는 행에 대한 행렬식과 모든 소행렬식을 단일 패assing 내에서 계산하는 수정된 가우스 소거법을 사용한다. 이 과정에서 중간 인수 분해 단계를 재사용한다.
• 주어진 주소행렬식(상위 왼쪽 부분행렬의 행렬식)을 추가 비용 없이 계산하기 위해 재귀적 구조를 유지함으로써 계산을 확장한다.
• GPU(CUDA), 공유 메모리 다중코어(pthreads, OpenMP), 분산 메모리 클러스터(MPI) 등 다양한 아키텍처에서 병렬화를 수행한다.
• 32,768비트(10,000자리 정밀도)까지의 정밀도를 처리하기 위해 임의 정밀도 산술 라이브러리(cump, GMPLIB 등)를 활용한다.
• MPI 구현에서 로드 밸런싱을 철저히 관리하여 최대 200코어에서 거의 선형적 성능 향상을 확보한다.
• 계산 노드 간 데이터 이동을 최소화하고 블록 기반 계산에 최적화된 데이터 레이아웃을 통해 메모리 대역폭 압력을 줄이도록 설계된다.

실험 결과

연구 질문

• RQ1 GPU와 클러스터 아키텍처에서 10,000자리 정밀도로 큰 행렬식을 효율적으로 병렬 계산할 수 있는가?
• RQ2 거의 특이행렬에 대해 가우스 소거법을 수행할 때 정밀도는 어떻게 저하되며, 선택한 정밀도가 의미 있는 결과를 도출하는 데 충분한가?
• RQ3 행렬식과 함께 특정 열에 대응하는 소행렬식을 추가 비용 최소화로 계산할 수 있는가?
• RQ4 분산 환경에서 계산 코어 수에 따라 알고리즘이 선형적으로 스케일링되는가?
• RQ5 계산된 소행렬식이 리만 제타 함수 맥락에서 소수의 분포와 관련된 의미 있는 패턴을 드러내는가?

주요 결과

• 클러스터에서 최대 168코어에서 거의 선형적 성능 향상을 달성하여 N=12,000 행렬의 벽면 시간을 18시간 이상에서 4시간 이내로 감소시켰다.
• 행렬 크기 N=12,000, 정밀도 32,768비트일 경우, 144개 프로세스에서 벽면 시간은 654,120초(약 7.5일)였으며, 이는 O(N³) 복잡도를 확인한다.
• GPU 구현은 고정밀 산술을 사용할 경우 단일 CPU 코어와 유사한 성능를 보였으며, 이는 이러한 워크로드에 대해 GPU의 이점이 제한적임을 시사한다.
• CPU 시간은 약 O(N³)로 스케일링되었으며, 정밀도를 두 배로 늘일 경우 약 2.8배 증가했고, 이는 카라츠바 곱셈과 일치한다. GPU에서는 약 3.95배 증가했으며, 이는 학교 곱셈과 일치한다.
• 실증 분석 결과, 선택한 정밀도가 N=12,000 크기의 행렬까지 정확도를 유지하는 데 충분하며, 예상된 범위를 초과하는 치명적인 정밀도 손실의 증거는 없었다.
• 계산된 소행렬식은 소수 분포와 일치하는 패턴을 보였으며, 이는 리만 제타 함수 연구를 위한 아트리스 방법의 이론적 기대를 지지한다.