[論文レビュー] ACL2 Meets the GPU: Formalizing a CUDA-based Parallelizable All-Pairs Shortest Path Algorithm in ACL2

Hardin, David S., Hardin, Samuel S.|arXiv (Cornell University)|Apr 30, 2013

Graph Theory and Algorithms被引用数 2

ひとこと要約

この論文は、単一スレッドオブジェクト（stobjs）とテイル再帰を用いて、CUDAベースの並列可能な全ペア最短経路（APSP）アルゴリズムをACL2で形式化し、効率的で検証可能な実行を可能にした。ACL2版は、Cホスト実装の約1/6の速度に達し、正当に証明されたLIFOスタックを介して経路回復をサポートしており、CおよびCUDAに逆方向に移植した場合、それぞれ3%の遅延と1.8%の性能向上を示した。これは、GPUカーネルに対する形式的検証の実現可能性を示している。

ABSTRACT

As Graphics Processing Units (GPUs) have gained in capability and GPU development environments have matured, developers are increasingly turning to the GPU to off-load the main host CPU of numerically-intensive, parallelizable computations. Modern GPUs feature hundreds of cores, and offer programming niceties such as double-precision floating point, and even limited recursion. This shift from CPU to GPU, however, raises the question: how do we know that these new GPU-based algorithms are correct? In order to explore this new verification frontier, we formalized a parallelizable all-pairs shortest path (APSP) algorithm for weighted graphs, originally coded in NVIDIA's CUDA language, in ACL2. The ACL2 specification is written using a single-threaded object (stobj) and tail recursion, as the stobj/tail recursion combination yields the most straightforward translation from imperative programming languages, as well as efficient, scalable executable specifications within ACL2 itself. The ACL2 version of the APSP algorithm can process millions of vertices and edges with little to no garbage generation, and executes at one-sixth the speed of a host-based version of APSP coded in C- a very respectable result for a theorem prover. In addition to formalizing the APSP algorithm (which uses Dijkstra's shortest path algorithm at its core), we have also provided capability that the original APSP code lacked, namely shortest path recovery. Path recovery is accomplished using a secondary ACL2 stobj implementing a LIFO stack, which is proven correct. To conclude the experiment, we ported the ACL2 version of the APSP kernels back to C, resulting in a less than 5% slowdown, and also performed a partial back-port to CUDA, which, surprisingly, yielded a slight performance increase.

研究の動機と目的

• GPUアクセcelerated数値カーネルにおける正当性の検証という、増大する課題に取り組むこと。特に、APSPのような並列化可能なアルゴリズムに焦点を当てる。
• ACL2の単一スレッドオブジェクト（stobjs）とテイル再帰が、CUDAで書かれたGPUカーネルを効果的にモデル化・検証できるかを調査すること。
• 元のCUDA APSP実装に欠けていた、形式的経路回復機能を拡張すること。
• ACL2で検証されたバージョンの性能と正当性を、CおよびCUDAに逆方向移植することで評価すること。
• ACL2における形式的検証が、実世界のGPUワークロードに適した正しくかつ高性能な実装を生み出せるかを示すこと。

提案手法

• ミュータブルな状態をモデル化し、効率的な実行を可能にするために、単一スレッドオブジェクト（stobjs）を用いてCUDAベースのAPSPカーネルをACL2に翻訳すること。
• ACL2におけるガーベージ生成を最小限に抑えるために、スケーラビリティを確保するためのテイル再帰を用いてコアアルゴリズムを実装すること。
• 最短経路回復をモデル化するための2番目のstobjを追加し、ACL2の定理証明機能を用いて正式に正当性を証明すること。
• 大規模なグラフ（数百万ノードまで）を用いてACL2版を実行し、元のCUDA実装との出力結果を比較することで検証すること。
• ACL2で検証されたカーネルをCおよびCUDAに逆方向移植し、性能の移植性を評価するとともに、言語間での正当性が保持されているかを検証すること。
• ACL2のコード抽出および最適化機能を用いて効率的なCコードを生成し、ベースライン実装と比較して性能を測定すること。

実験結果

リサーチクエスチョン

• RQ1 ACL2のstobjおよびテイル再帰は、CUDAで書かれたGPUカーネルの意味を効果的に捉え、効率的な実行と形式的検証を両立できるか？
• RQ2 ACL2でGPUベースのAPSPアルゴリズムを形式化することで、元の実装に欠けていた機能（例：経路回復）を追加できるか？
• RQ3 ACL2で検証されたAPSP実装の性能は、同様のアルゴリズムの手動最適化Cバージョンと比べてどの程度か？
• RQ4 ACL2で検証されたカーネルを、最小限の性能低下、あるいはむしろ向上を伴ってCUDAに逆方向移植できるか？
• RQ5 ACL2における形式的検証は、高性能GPUコンピューティングにおける正当性を保証する実用的手段としてどの程度有効か？

主な発見

• ACL2版のAPSPアルゴリズムは、数百万ノードおよびエッジを含むグラフに対してもスケーリング可能であり、実行中にほとんどガーベージを生成しない。
• ACL2で検証されたAPSPカーネルは、手動最適化C実装の約1/6の速度で実行され、定理証明器としては非常に競争力のある結果である。
• 形式的検証により、元のCUDAコードに存在しなかった、正当に証明されたLIFOスタックデータ構造を用いた最短経路回復が成功裏に追加された。
• ACL2版をCに逆方向移植した結果、元のCリファレンス実装と比較してわずか3%の遅延にとどまった。
• 部分的なCUDAへの逆方向移植では、元の非再帰的CUDAカーネルよりも1.8%の性能向上が得られ、ACL2で検証されたバージョンがより効率的である可能性を示唆している。