[논문 리뷰] ACL2 Meets the GPU: Formalizing a CUDA-based Parallelizable All-Pairs Shortest Path Algorithm in ACL2

Hardin, David S., Hardin, Samuel S.|arXiv (Cornell University)|2013. 04. 30.

Graph Theory and Algorithms인용 수 2

한 줄 요약

이 논문은 단일 스레드 객체(stobjs)와 尾再귀를 사용하여 CUDA 기반의 병렬화 가능한 전쌍 최단경로(APSP) 알고리즘을 ACL2에서 형식화하여 효율적이고 검증된 실행을 가능하게 한다. ACL2 버전은 C 호스트 구현보다 약 1/6 속도로 작동하며, 검증된 LIFO 스택을 통한 경로 복구를 지원하고, C와 CUDA로 다시 구현했을 때 각각 3%의 성능 저하와 1.8%의 성능 향상을 보이며, GPU 커널에 대한 형식적 검증의 실현 가능성을 입증한다.

ABSTRACT

As Graphics Processing Units (GPUs) have gained in capability and GPU development environments have matured, developers are increasingly turning to the GPU to off-load the main host CPU of numerically-intensive, parallelizable computations. Modern GPUs feature hundreds of cores, and offer programming niceties such as double-precision floating point, and even limited recursion. This shift from CPU to GPU, however, raises the question: how do we know that these new GPU-based algorithms are correct? In order to explore this new verification frontier, we formalized a parallelizable all-pairs shortest path (APSP) algorithm for weighted graphs, originally coded in NVIDIA's CUDA language, in ACL2. The ACL2 specification is written using a single-threaded object (stobj) and tail recursion, as the stobj/tail recursion combination yields the most straightforward translation from imperative programming languages, as well as efficient, scalable executable specifications within ACL2 itself. The ACL2 version of the APSP algorithm can process millions of vertices and edges with little to no garbage generation, and executes at one-sixth the speed of a host-based version of APSP coded in C- a very respectable result for a theorem prover. In addition to formalizing the APSP algorithm (which uses Dijkstra's shortest path algorithm at its core), we have also provided capability that the original APSP code lacked, namely shortest path recovery. Path recovery is accomplished using a secondary ACL2 stobj implementing a LIFO stack, which is proven correct. To conclude the experiment, we ported the ACL2 version of the APSP kernels back to C, resulting in a less than 5% slowdown, and also performed a partial back-port to CUDA, which, surprisingly, yielded a slight performance increase.

연구 동기 및 목표

• GPU 가속 수치 커널에서의 정확성 검증 문제 증가에 대응하기 위해, 특히 APSP와 같은 병렬화 가능한 알고리즘의 정확성 검증에 초점을 맞춘다.
• ACL2의 단일 스레드 객체(stobjs)와 尾재귀가 CUDA로 작성된 GPU 커널을 효과적으로 모델링하고 검증할 수 있는지 탐색한다.
• 기존 CUDA APSP 구현에서 누락된 기능인 공식적 경로 복구 기능을 원래 구현에 추가한다.
• C와 CUDA로 다시 구현하여 ACL2로 검증된 버전의 성능과 정확성을 평가한다.
• ACL2에서의 형식적 검증이 실세계 GPU 워크로드에 적합한 정확하고 고성능의 구현을 도출할 수 있음을 보여준다.

제안 방법

• 변경 가능한 상태를 모델링하고 효율적 실행을 가능하게 하기 위해 단일 스레드 객체(stobjs)를 사용하여 CUDA 기반 APSP 커널을 ACL2로 번역한다.
• ACL2에서의 확장성과 가비지 생성 최소화를 위해 핵심 알고리즘을 尾재귀로 구현한다.
• 최단경로 복구를 모델링하기 위해 보조 stobj를 추가로 사용하여 LIFO 스택 데이터 구조를 형식적으로 검증한다.
• 대규모 그래프(수백만 개의 정점까지)에서 ACL2 버전을 실행하고, 원본 CUDA 구현과 결과를 비교하여 검증한다.
• ACL2로 검증된 커널을 C와 CUDA로 다시 구현하여 성능 이식성과 언어 간 정확성 유지 여부를 평가한다.
• ACL2의 코드 추출 및 최적화 기능을 사용하여 효율적인 C 코드를 생성하고, 기준 구현과의 성능을 측정한다.

실험 결과

연구 질문

• RQ1 ACL2의 stobj와 尾재귀는 CUDA로 작성된 GPU 커널의 의미를 효과적으로 포괄할 수 있는가? 이는 효율적 실행과 형식적 검증을 모두 가능하게 하는가?
• RQ2 ACL2에서 GPU 기반 APSP 알고리즘을 형식화하면, 원래 코드에 없던 기능(예: 경로 복구)을 추가로 도입할 수 있는가?
• RQ3 ACL2로 검증된 APSP 구현의 성능는 동일한 알고리즘에 대해 수작업 최적화된 C 버전과 비교해 어떻게 되는가?
• RQ4 ACL2로 검증된 커널을 CUDA로 성공적으로 다시 구현할 수 있는가? 성능 저하가 최소화되거나 심지어 향상될 수 있는가?
• RQ5 ACL2에서의 형식적 검증은 고성능 GPU 컴퓨팅에서 정확성을 보장하는 실용적인 방법으로서 어느 정도의 적용 가능성을 갖는가?

주요 결과

• ACL2 버전의 APSP 알고리즘은 수백만 개의 정점과 간선을 포함하는 그래프에서도 스케일링되며, 실행 중에 거의 가비지가 생성되지 않는다.
• ACL2로 검증된 APSP 커널은 수작업 최적화된 C 구현보다 약 1/6 속도로 작동하며, 이는 증명 기반 도구로서 매우 경쟁력 있는 성능이다.
• 형식화 과정을 통해 검증된 LIFO 스택 데이터 구조를 통한 최단경로 복구가 성공적으로 추가되었으며, 이는 원본 CUDA 코드에 존재하지 않았다.
• ACL2 버전을 C로 다시 구현했을 때 원본 C 기준 구현 대비 성능 저하가 단 3%에 그쳤다.
• 부분적인 CUDA로의 다시 구현 결과, 원본 비재귀 CUDA 커널 대비 1.8%의 성능 향상이 나타났으며, 이는 ACL2로 검증된 버전이 더 효율적일 수 있음을 시사한다.