[论文解读] Fully Parallel Particle Learning for GPGPUs and Other Parallel Devices

Kenichiro McAlinn, Teruo Nakatsuma|arXiv (Cornell University)|Dec 7, 2012

Target Tracking and Data Fusion in Sensor Networks参考文献 25被引用 3

一句话总结

该论文提出了一种用于粒子滤波的完全并行重采样算法，所有粒子滤波步骤——似然计算、CDF构建、重采样和传播——均在GPU上完全执行，消除了CPU-GPU之间的数据传输。该方法在CDF步骤上实现了最高248倍的加速，在传播步骤上实现了45.3倍的加速，相较于串行CPU实现展现出卓越性能，同时通过截断点方法保持了精确的重采样。

ABSTRACT

We develop a novel parallel resampling algorithm for fully parallelized particle filters, which is designed with GPUs (graphics processing units) or similar parallel computing devices in mind. With our new algorithm, a full cycle of particle filtering (computing the value of the likelihood for each particle, constructing the cumulative distribution function (CDF) for resampling, resampling the particles with the CDF, and propagating new particles for the next cycle) can be executed in a massively and completely parallel manner. One of the advantages of our algorithm is that every single numerical computation or memory access related to the particle filtering is executed solely inside the GPU in parallel, and no data transfer between the GPU's device memory and the CPU's host memory occurs unless for further processing, so that it can circumvent the limited memory bandwidth between the GPU and the CPU. To demonstrate the advantage of our parallel algorithm, we conducted a Monte Carlo experiment in which we apply the parallel algorithm as well as conventional sequential algorithms for estimation of a simple state space model via particle learning, and compare them in terms of execution time. The results show that the parallel algorithm is far superior to the sequential algorithm.

研究动机与目标

• 解决高维、非线性、非高斯状态空间模型中粒子滤波的计算瓶颈问题。
• 在粒子滤波循环中消除CPU-GPU之间的数据传输，最小化带宽限制的影响。
• 开发一种完全并行的重采样算法，确保其在各种并行架构上的精确性与可移植性。
• 通过GPU加速，展示该算法相较于基于串行CPU的粒子滤波在性能上的显著提升。

提出的方法

• 该算法将所有粒子滤波步骤——似然评估、CDF构建、重采样和传播——全部在GPU设备内存中执行，避免了主机CPU内存之间的数据传输。
• 采用截断点方法进行重采样，实现在并行环境中对累积分布函数（CDF）的精确采样。
• 该方法避免使用特定于设备的GPU功能，确保可移植至多GPU或网格计算系统。
• 通过并行前缀和与独占扫描操作，高效构建选择索引，实现重采样。
• 该算法专为大规模并行架构（如GPGPU）上的单指令多数据（SIMD）执行而设计。
• 通过蒙特卡洛实验，对比了在简单状态空间模型下，GPU并行实现与CPU串行实现的执行时间。

实验结果

研究问题

• RQ1 能否设计一种完全并行的粒子滤波算法，在消除CPU-GPU数据传输的同时保持精确重采样？
• RQ2 与传统的串行CPU实现相比，完全并行的GPU粒子滤波算法在性能上表现如何？
• RQ3 在GPU环境中，不同计算步骤（CDF、传播、重采样）对整体执行时间的影响如何？
• RQ4 所提出的算法能否在不依赖特定GPU硬件功能的前提下实现？

主要发现

• 与串行CPU实现相比，所提出的GPU算法在CDF构建步骤上实现了248倍的加速。
• 传播步骤实现了45.3倍的加速，表明在GPU架构上具有出色的并行效率。
• 重采样步骤实现了11.9倍的加速，即使在排除排序开销后仍保持2.7倍的增益，优于CPU上的分层重采样方法。
• 存储步骤——将数据从GPU传输到CPU——占总执行时间的15%至20%，凸显了内存传输是主要瓶颈。
• 当粒子数量较大且时间跨度较长时，该算法的性能优势最为显著，此时初始化时间可忽略不计。
• 该方法完全可移植，无需依赖特定架构，可轻松扩展至多GPU或网格计算系统。