[논문 리뷰] A Comparison of Sequential and GPU Implementations of Iterative Methods to Compute Reachability Probabilities

Elise Cormie-Bowins|arXiv (Cornell University)|2012. 10. 24.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 마코프 체인 이행 확률 계산에서 발생하는 선형 시스템을 해결하기 위한 잭비 및 비정규화 BiCGStab 반복적 방법의 순차적 구현과 GPU 가속 구현을 비교한다. CUDA로 가속된 잭비 방법은 희소 행렬에서 특히 순차적 버전보다 뛰어난 성능을 보이며, GPU에서 실행되는 BiCGStab는 큰 밀도 있는 행렬에서만 유리하다. 이는 Krylov 부분공간 방법보다 잭비 방법이 확률적 모델 체킹에서 희소성 때문에 우월하다는 추측을 뒷받침한다. 메모리 접근 패턴 때문이 아니라 희소성 때문이다.

ABSTRACT

We consider the problem of computing reachability probabilities: given a Markov chain, an initial state of the Markov chain, and a set of goal states of the Markov chain, what is the probability of reaching any of the goal states from the initial state? This problem can be reduced to solving a linear equation Ax = b for x, where A is a matrix and b is a vector. We consider two iterative methods to solve the linear equation: the Jacobi method and the biconjugate gradient stabilized (BiCGStab) method. For both methods, a sequential and a parallel version have been implemented. The parallel versions have been implemented on the compute unified device architecture (CUDA) so that they can be run on a NVIDIA graphics processing unit (GPU). From our experiments we conclude that as the size of the matrix increases, the CUDA implementations outperform the sequential implementations. Furthermore, the BiCGStab method performs better than the Jacobi method for dense matrices, whereas the Jacobi method does better for sparse ones. Since the reachability probabilities problem plays a key role in probabilistic model checking, we also compared the implementations for matrices obtained from a probabilistic model checker. Our experiments support the conjecture by Bosnacki et al. that the Jacobi method is superior to Krylov subspace methods, a class to which the BiCGStab method belongs, for probabilistic model checking.

연구 동기 및 목표

• 마코프 체인에서 이행 확률을 계산하기 위한 순차적 및 GPU 가속 반복적 해법의 성능 평가.
• 확률적 모델 체킹에서 유도된 행렬에 대해 CUDA를 통한 GPU 가속이 잭비 및 BiCGStab 방법의 성능을 향상시키는지 확인.
• 확률적 모델 체킹에서 Krylov 부분공간 방법(예: BiCGStab)보다 잭비 방법이 뛰어난 이유가 희소성 때문인지, 메모리 접근 특성 때문인지 조사.
• 실제 확률적 모델 체킹 데이터(JPF에서 유도)와 유사한 크기 및 밀도를 가진 합성 랜덤 행렬 간의 성능 비교.
• 이 설정에서 행렬 크기와 밀도가 GPU 가속 해법의 성능에 미치는 영향 평가.

제안 방법

• NVIDIA의 CUDA 프레임워크를 사용하여 C로 순차적 및 CUDA 병렬 버전의 잭비 및 BiCGStab 반복적 방법을 구현.
• 일반적인 성능 특성을 테스트하기 위해 다양한 크기와 비제로 요소 수를 가진 랜덤 밀도 및 희소 행렬 생성.
• 랜덤화된 순차 알고리즘에서 유도된 실제 전이 확률 행렬을 생성하기 위해 자바 경로 파인더(JPF)의 확률적 확장 사용.
• 이행 확률 계산을 위한 선형 시스템 A·x = b를 만들기 위해 JPF에서 생성된 행렬에서 항등행렬을 빼기.
• 각 행렬 유형과 해법 유형에 대해 다수의 시험에서 실행 시간을 측정하였으며, 표준편차는 그래프에 표시되지 않을 정도로 작았다.
• JPF에서 생성된 행렬, 유사한 크기/밀도를 가진 랜덤 행렬, 랜덤 양의 정수 요소를 가진 합성 행렬 간의 성능 비교.

실험 결과

연구 질문

• RQ1 마코프 체인에서 이행 확률 문제를 해결할 때 CUDA를 통한 GPU 가속이 잭비 및 BiCGStab 방법의 성능을 향상시키는가?
• RQ2 이 설정에서 희소 행렬과 밀도 있는 행렬 간에 잭비 및 BiCGStab 방법의 성능 특성은 어떻게 다른가?
• RQ3 확률적 모델 체킹에서 Krylov 부분공간 방법(예: BiCGStab)보다 잭비 방법이 뛰어난 이유가 행렬의 희소성 때문인지, 메모리 접근 오버헤드 때문인지?
• RQ4 이 설정에서 행렬 크기와 밀도가 GPU 가속의 성능 향상에 얼마나 기여하는가?
• RQ5 실제 확률적 모델 체킹 데이터(JPF에서 유도)에서 관찰된 성능 추세가 유사한 크기 및 밀도를 가진 합성 행렬에서도 재현되는가?

주요 결과

• CUDA 최적화된 잭비 방법은 순차적 버전보다 항상 뛰어나며, 특히 희소 행렬에서 GPU 병렬화의 강력한 성능 이점을 보여준다.
• GPU에서 실행되는 BiCGStab 방법은 큰 밀도 있는 행렬에서만 성능 이점이 있으며, 더 작은 희소 행렬에서는 순차적 BiCGStab가 더 빠르다.
• 확률적 모델 체커 JPF에서 생성된 행렬에 대해 잭비 방법이 BiCGStab를 능가하며, 이는 Bosnacki 등이 제안한 바와 같이 이 분야에서 잭비 방법이 Krylov 부분공간 방법보다 더 적합하다는 추측을 지지한다.
• JPF에서 생성된 행렬의 성능 추세는 크기와 밀도가 유사한 합성 랜덤 행렬에서도 재현되며, 이는 크기와 밀도가 해법 성능의 주요 결정 요소이며, 모델 체킹 행렬의 고유한 구조적 특성이 아니라는 것을 시사한다.
• 잭비 방법이 희소 행렬에서 뛰어난 성능을 보이는 것은 메모리 접근 오버헤드 때문이 아니라, 희소성 때문이며, 이는 BiCGStab의 높은 메모리 요구량이 성능 열등성의 주요 원인라는 가설을 반박한다.
• 유형적인 확률적 모델 체킹 데이터에서는 희소성이 높아서 CUDA BiCGStab의 성능 향상이 이루어지지 않으며, GPU의 이점을 얻기 위한 크기와 밀도 기준을 충족하지 못한다.