[論文レビュー] Fast GPU Implementation of Sparse Signal Recovery from Random Projections

M. Andrecut|ArXiv.org|Sep 10, 2008

Sparse and Compressive Sensing Techniques参考文献 7被引用数 41

ひとこと要約

この論文では、NVIDIAのCUDAおよびCUBLASを用いて、ランダムプロジェクションからのスパース信号復元のための高速GPUアクセラレート実装であるマッチング・パルス（MP）アルゴリズムを提示する。GPUの並列処理を活用することで、特に大規模な問題において、高度に最適化されたCPUベースのCBLAS実装と比較して最大31倍の高速化を達成し、スパース信号再構成ワークロードにおける顕著な性能向上を示している。

ABSTRACT

We consider the problem of sparse signal recovery from a small number of random projections (measurements). This is a well known NP-hard to solve combinatorial optimization problem. A frequently used approach is based on greedy iterative procedures, such as the Matching Pursuit (MP) algorithm. Here, we discuss a fast GPU implementation of the MP algorithm, based on the recently released NVIDIA CUDA API and CUBLAS library. The results show that the GPU version is substantially faster (up to 31 times) than the highly optimized CPU version based on CBLAS (GNU Scientific Library).

研究の動機と目的

• ランダムプロジェクションからのスパース信号復元における計算ボトル neck を解消すること。これは従来のCPU手法ではNP困難であり、遅い。
• GPUハードウェアとCUDAプログラミングモデルを用いたマッチング・パルス（MP）アルゴリズムの加速の可能性と性能を検討すること。
• 大規模なスパース信号再構成において、GPUベースのCUBLASと高度に最適化されたCPUベースのCBLASの性能を比較すること。
• 問題のサイズと精度（単精度／倍精度）がGPUアクセラレーション効率に与える影響を評価すること。

提案手法

• MPアルゴリズムは、NVIDIAのCUDA APIとCUBLASライブラリを用いて実装され、GPUアーキテクチャの巨大な並列性を活用する。
• スパース信号 x を低次元の測定値 y = Ψx に変換するために、正規化された列を持つランダムプロジェクション行列 Ψ を使用する。
• MPの各反復において、残差と辞書の原子（Ψの列）との内積を計算し、最も一致する原子を選択する。この処理にはGPUアクセラレートされたBLASカーネルが使用される。
• 再構成誤差 ε = 10⁻⁷ に達するか、最大反復回数 T = N に達するまで反復的に処理が実行される。
• 性能評価は、エントリーレベルのGeForce 8400GS（GPU0）とハイエンドのGTX280（GPU1）の2つのGPUで実施され、単精度および倍精度の両方を対象とする。
• CPUおよびGPU実装の両方で同じランダムシードが使用され、結果の比較が一貫していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレートMPは、スパース信号復元において、高度に最適化されたCPUベースのCBLASと比較して、どの程度性能が優れているか？
• RQ2 大規模なスパース信号再構成において、GPUアクセラレーションで達成可能な最大の高速化はどの程度か？
• RQ3 問題のサイズ（信号長 M）がCPUとGPU実装の性能差にどのように影響するか？
• RQ4 なぜ、対数時間スケールにおいて M = 8192 の周辺でGPUの性能に不連続性（ディコンティニュイティ）が観察されるのか？
• RQ5 精度の選択（単精度対倍精度）がGPUの高速化にどの程度影響を及えるか？

主な発見

• 単精度において、M = 15,000 の大規模な問題に対して、GPU版MPアルゴリズムはCPU版と比較して最大31倍の高速化を達成した。
• 倍精度においては、M = 15,000 の時点でGPUがCPUを最大21倍高速化した。
• 信号長 M = 16,384 の場合、CPUでは再構成に1,900秒を要したが、GPUでは58秒未満で完了し、33倍の高速化を達成した。
• CPUとGPUの性能差は、問題サイズが増大するにつれて急激に拡大し、M > 2,000 の場合に顕著に現れるようになった。
• 両GPUおよび両精度において、M = 8,192 の周辺で性能の不連続性が観察された。これはハードウェア制限ではなく、CUBLASの実装上の特徴であると示された。
• 結果から、GPUアクセラレーションが、数千もの並列スレッドにスケーリングされる問題において最も効果的であることが確認された。GPUのハードウェア能力を十分に活用できる状況で、性能向上が顕著に現れる。