[논문 리뷰] A highly parallel algorithm for computing the action of a matrix exponential on a vector based on a multilevel Monte Carlo method

Juan A. Acebrón, José R. Herrero외 1명|arXiv (Cornell University)|2019. 04. 29.

Matrix Theory and Algorithms참고 문헌 38인용 수 10

한 줄 요약

이 논문은 연속 시간 마코프 체인에 의해 지배되는 무작위 경로를 활용하여 벡터에 대한 행렬 지수의 작용을 계산하기 위한 고도로 병렬화된 다수준 몽테카를로 알고리즘을 제안한다. 이 방법은 기존 몽테카를로 방법보다 훨씬 낮은 계산 복잡도를 달성하며, 대규모 문제에서 Krylov 기반 방법보다 빠르고 메모리 효율성이 뛰어나, 최대 9,600개의 코어를 사용한 슈퍼컴퓨터에서 거의 이상적인 속도 향상을 보였다.

ABSTRACT

A novel algorithm for computing the action of a matrix exponential over a vector is proposed. The algorithm is based on a multilevel Monte Carlo method, and the vector solution is computed probabilistically generating suitable random paths which evolve through the indices of the matrix according to a suitable probability law. The computational complexity is proved in this paper to be significantly better than the classical Monte Carlo method, which allows the computation of much more accurate solutions. Furthermore, the positive features of the algorithm in terms of parallelism were exploited in practice to develop a highly scalable implementation capable of solving some test problems very efficiently using high performance supercomputers equipped with a large number of cores. For the specific case of shared memory architectures the performance of the algorithm was compared with the results obtained using an available Krylov-based algorithm, outperforming the latter in all benchmarks analyzed so far.

연구 동기 및 목표

• 벡터에 대한 행렬 지수 작용을 계산하는 데 있어 기존 방법의 계산 비효율성과 병렬 처리의 어려움을 해결하기 위해.
• 이 맥락에서 전통적인 몽테카를로 방법의 느린 수렴성과 높은 복잡도 문제를 극복하기 위해.
• 현대 슈퍼컴퓨터에서 대규모 문제에 적합한 확장성 있고 고도로 병렬화된 알고리즘을 개발하기 위해.
• 전체 시스템을 국소적으로 풀지 않고 특정 지점에서의 행렬 함수 작용을 정확하게 계산할 수 있도록 하기 위해.
• 속도, 메모리 사용량, 확장성 측면에서 제안된 방법의 성능을 기존의 확립된 Krylov 기반 알고리즘과 비교하기 위해.

제안 방법

• 알고리즘은 표준 몽테카를로 샘플링 대신 계층적 샘플링 전략을 사용하는 다수준 몽테카를로 프레임워크를 활용하여 분산을 줄이고 수렴성을 향상시킨다.
• 시스템의 라플라시안 행렬에 의해 지배되는 연속 시간 마코프 체인을 통해 행렬 인덱스를 따라 무작위 경로를 생성한다.
• 이러한 경로의 곱함수에 대한 평균을 취함으로써 해를 확률적으로 계산하며, 이는 행렬 지수 작용을 근사한다.
• 이 방법은 이전의 확률적 접근을 임의의 행렬 클래스에까지 일반화하여 적용 가능하게 한다.
• 병렬화는 각 수준에서 독립적인 몽테카를로 시뮬레이션을 분산 배포하여 프로세서 간 통신을 최소화함으로써 달성된다.
• 알고리즘은 공유 메모리 아키텍처에 구현되었으며, 대규모 PDE 및 네트워크 문제에서 테스트되었다.

실험 결과

연구 질문

• RQ1 기존 몽테카를로 방법에 비해 다수준 몽테카를로 접근이 벡터에 대한 행렬 지수 작용 계산의 계산 복잡도를 크게 감소시킬 수 있는가?
• RQ2 제안된 알고리즘이 대규모 문제에서 Krylov 기반 방법과 비교해 성능와 확장성 측면에서 어떻게 다른가?
• RQ3 수천 개의 코어에 걸쳐 효율적으로 병렬화할 수 있으며, 거의 이상적인 속도 향상을 유지할 수 있는가?
• RQ4 전체 시스템을 풀지 않고도 특정 지점에서의 해를 계산할 수 있으며, 이 기능은 얼마나 효율적인가?
• RQ5 이 방법은 PDE 및 복잡한 네트워크 분석과 같은 다양한 과학적 응용 분야에 적용 가능하고 효율적인가?

주요 결과

• 3D PDE 문제에 대해 최대 5,760개 코어에서 다수준 몽테카를로 방법이 거의 이상적인 속도 향상 2.0을 달성했으며, 시간은 153초에서 21초로 감소했다.
• 크기가 10^8인 스몰월드 네트워크에 대해, 1,200개 코어에서 315초였던 계산 시간이 5,760개 코어에서 44초로 감소하여 속도 향상 1.9를 달성했다.
• 대규모 행렬에 대해 표준 Krylov 기반 방법보다 계산 시간과 메모리 사용량 측면에서 모두 성능이 뛰어났다.
• 대부분의 계산이 몽테카를로 샘플 간에 독립적이었기 때문에, 통신 오버헤드가 극히 적어 확장성이 뛰어났다.
• 계산 복잡도가 기존 몽테카를로 방법보다 뚜렷이 우수하여, 더 낮은 비용으로 더 높은 정확도를 달성할 수 있었다.
• 이 방법은 복잡한 네트워크의 총 통신 가능성과 PDE의 점별 해를 고정밀도와 효율성으로 성공적으로 계산했다.