[论文解读] Fast GPU Implementation of Sparse Signal Recovery from Random Projections

M. Andrecut|ArXiv.org|Sep 10, 2008

Sparse and Compressive Sensing Techniques参考文献 7被引用 41

一句话总结

本文提出了一种基于NVIDIA CUDA和CUBLAS的快速GPU加速实现，用于从随机投影中恢复稀疏信号的匹配追踪（MP）算法。通过利用GPU的并行计算能力，该方法在大规模问题上相比高度优化的CPU-CBLAS实现最高可实现31倍的加速，显著提升了稀疏信号重构工作负载的性能。

ABSTRACT

We consider the problem of sparse signal recovery from a small number of random projections (measurements). This is a well known NP-hard to solve combinatorial optimization problem. A frequently used approach is based on greedy iterative procedures, such as the Matching Pursuit (MP) algorithm. Here, we discuss a fast GPU implementation of the MP algorithm, based on the recently released NVIDIA CUDA API and CUBLAS library. The results show that the GPU version is substantially faster (up to 31 times) than the highly optimized CPU version based on CBLAS (GNU Scientific Library).

研究动机与目标

• 为解决从随机投影中进行稀疏信号恢复的计算瓶颈问题，该问题在传统CPU方法下是NP难且速度缓慢的。
• 探索使用GPU硬件和CUDA编程模型加速匹配追踪（MP）算法的可行性和性能表现。
• 比较GPU-based CUBLAS与高度优化的CPU-based CBLAS在大规模稀疏信号重构中的性能表现。
• 评估问题规模和精度（单精度/双精度）对GPU加速效率的影响。

提出的方法

• 使用NVIDIA的CUDA API和CUBLAS库实现MP算法，以利用GPU架构中的大规模并行性。
• 该方法使用列向量归一化的随机投影矩阵Ψ，将稀疏信号x编码为低维测量值y = Ψx。
• 在每次MP迭代中，通过GPU加速的BLAS内核计算残差与字典原子（Ψ的列）之间的内积，以选择最佳匹配原子。
• 算法迭代运行，直到重建误差ε = 10⁻⁷达到或最大迭代次数T = N达到为止。
• 性能在两块GPU上进行评估：入门级GeForce 8400GS（GPU0）和高端GTX280（GPU1），涵盖单精度和双精度。
• CPU和GPU实现使用相同的随机种子，以确保结果比较的一致性。

实验结果

研究问题

• RQ1 GPU加速的MP算法在稀疏信号恢复方面相比高度优化的CPU-CBLAS实现性能如何？
• RQ2 在大规模稀疏信号重构中，GPU加速可实现的最大加速比是多少？
• RQ3 问题规模（信号长度M）如何影响CPU与GPU实现之间的性能差距？
• RQ4 为何GPU性能在对数时间尺度下于M = 8192附近出现不连续性？
• RQ5 精度选择（单精度与双精度）在多大程度上影响GPU加速比？

主要发现

• 在单精度下，对于大规模问题（M = 15,000），GPU版本的MP算法相比CPU版本最高可实现31倍的加速。
• 在双精度下，当M = 15,000时，GPU相比CPU最高可实现21倍的加速。
• 对于长度为M = 16,384的信号，CPU上重构耗时1,900秒，而GPU上低于58秒，实现了33倍的加速。
• CPU与GPU之间的性能差距随问题规模迅速扩大，仅在M > 2,000时变得显著。
• 在两个GPU和两种精度下，M = 8,192处均观察到性能不连续性，表明这是CUBLAS实现的特性而非硬件限制。
• 结果证实，当问题规模扩展到数千个并行线程时，GPU加速最为有效，能够充分释放GPU硬件的性能潜力。