[논문 리뷰] A faster hafnian formula for complex matrices and its benchmarking on a supercomputer

Andreas Björklund, Brajesh Gupt외 1명|arXiv (Cornell University)|2018. 05. 31.

Matrix Theory and Algorithms인용 수 6

한 줄 요약

이 논문은 복소행렬의 하프니안을 계산하기 위한 새로운 O(n³2ⁿ/²) 알고리즘을 제안하며, 슈어 분해를 사용하여 정확한 하프니안 평가를 크게 가속화한다. 이 방법은 이전의 링 기반 알고리즘보다 요소 수가 n배 빠르며, 타이탄 슈퍼컴퓨터에서 거의 완벽한 약한 스케일링을 보이며, 정확도와 병렬 효율성이 높은 56×56 행렬까지의 하프니안 계산을 가능하게 한다.

ABSTRACT

We introduce new and simple algorithms for the calculation of the number of perfect matchings of complex weighted, undirected graphs with and without loops. Our compact formulas for the hafnian and loop hafnian of $n \ imes n $ complex matrices run in $O(n^3 2^{n/2})$ time, are embarrassingly parallelizable and, to the best of our knowledge, are the fastest exact algorithms to compute these quantities. Despite our highly optimized algorithm, numerical benchmarks on the Titan supercomputer with matrices up to size $56 \ imes 56$ indicate that one would require the 288000 CPUs of this machine for about a month and a half to compute the hafnian of a $100 \ imes 100$ matrix.

연구 동기 및 목표

• 복소행렬의 하프니안을 더 빠르게 계산하는 정확한 알고리즘을 개발하는 것. 이는 양자 광학과 조합론에서 핵심적인 양이다.
• 가우시안 보존 샘플링을 시뮬레이션하는 데서 발생하는 계산 블로킹 문제를 줄이는 것. 이는 양자 우월성의 기준이 된다.
• 하이브리드 MPI+OpenMP 병렬 처리를 통해 슈퍼컴퓨터에서 확장 가능하고 고정밀도의 하프니안 평가를 가능하게 하는 것.
• 현재 알고리즘적 및 아키텍처적 제약 조건 하에서 고전적 시뮬레이션의 실용적 한계를 설정하는 것.

제안 방법

• Cygan과 Pilipczuk의 링 기반 하프니안 방법에서 O(n⁴) 동적 프ogram밍 탭루레이션을 제거하고, 복소행렬의 O(n³) 슈어 분해로 대체한다.
• 복소수 체 위에서 기본 선형대수학을 통해 유도된 n×n 복소행렬의 하프니안과 루프 하프니안에 대한 압축된 공식을 사용한다.
• 알고리즘은 매우 쉽게 병렬화 가능하여, 하이브리드 MPI 및 OpenMP 스레딩을 통해 수천 개의 CPU 코어에 효율적으로 분배할 수 있다.
• 수치적 벤치마킹은 최대 288,000개의 CPU를 사용하여 타이탄 슈퍼컴퓨터에서 수행되었으며, 56×56 행렬 크기까지의 약한 스케일링 테스트가 실시되었다.
• 분산 계산 과정에서 수치적 정확도가 유지되며, 다양한 MPI/OpenMP 프로세스 구성에서 오차 변동이 거의 없음을 확인하였다.
• 지수적 스케일링의 다항식 계수를 최소화하도록 설계되어, 양자 우월성 임계점 평가에 매우 중요하다.

실험 결과

연구 질문

• RQ1 복소행렬의 하프니안을 표준 선형대수 연산만으로 O(n³2ⁿ/²) 시간에 계산할 수 있는가?
• RQ2 제안된 알고리즘이 하이브리드 병렬 처리를 갖춘 대규모 슈퍼컴퓨터에서 실제로 어떻게 스케일링되는가?
• RQ3 현재 알고리즘적 및 하드웨어 제약 조건을 고려할 때, 고전적 하드웨어에서 정확한 하프니안 계산의 실용적 상한은 무엇인가?
• RQ4 다수의 프로세서에서 분산되고 비가환적인 합산이 이루어지는 상황에서 알고리즘의 정확도는 어느 정도 안정성을 유지하는가?

주요 결과

• 제안된 알고리즘은 O(n³2ⁿ/²) 시간 복잡도를 달성하였으며, 이는 이전에 알려진 최고의 링 기반 하프니안 알고리즘보다 요소 수 n배 빠른 성능 향상을 의미한다.
• 타이탄 슈퍼컴퓨터에서 288,000개의 CPU를 사용해 56×56 하프니안을 계산하는 데 약 1.5개월이 소요되었으며, 이는 완벽한 스케일링을 가정할 경우 100×100 하프니안 계산에도 최소 1.5개월이 걸릴 것임을 시사한다.
• 약한 스케일링 실험 결과, 행렬 크기와 프로세서 수가 동시에 두 배로 증가할 때 총 계산 시간이 정체되는 경향을 보이며, 문제당 프로세서 비율을 고정한 양상에서 양호한 약한 스케일링을 확인하였다.
• 최대 288,000개의 CPU에서 알고리즘이 거의 완벽한 강한 스케일링을 보였으며, 프로세서 수가 두 배로 증가할수록 계산 시간이 반으로 줄었다.
• MPI 및 OpenMP 프로세스 구성에 관계없이 하프니안 결과의 백분율 오차가 극히 미미하게 유지되어, 분산 합산 상황에서도 수치적 안정성이 확인되었다.
• 최적화가 이루어졌음에도 불구하고, n > 60인 경우 고전적 하드웨어에서 정확한 하프니안 계산은 여전히 비현실적이며, n=100인 경우 16개의 프로세서에서 약 2155년이 소요될 것이다.