[论文解读] FastFlow: Efficient Parallel Streaming Applications on Multi-core

Marco Aldinucci, Massimo Torquati+1 more|ArXiv.org|Sep 7, 2009

Distributed systems and fault tolerance参考文献 34被引用 20

一句话总结

FastFlow 是一种低级别的、无锁的、无内存屏障的编程框架，用于在多核系统上高效地进行并行流处理，通过优化的 MPMC（多生产者-多消费者）队列来最小化同步开销。在 Smith-Waterman 序列比对基准测试中，其性能比 Cilk 高出最多 226%，比 TBB 高出 96%，表明其在细粒度流处理工作负载中具有卓越的效率。

ABSTRACT

Shared memory multiprocessors come back to popularity thanks to rapid spreading of commodity multi-core architectures. As ever, shared memory programs are fairly easy to write and quite hard to optimise; providing multi-core programmers with optimising tools and programming frameworks is a nowadays challenge. Few efforts have been done to support effective streaming applications on these architectures. In this paper we introduce FastFlow, a low-level programming framework based on lock-free queues explicitly designed to support high-level languages for streaming applications. We compare FastFlow with state-of-the-art programming frameworks such as Cilk, OpenMP, and Intel TBB. We experimentally demonstrate that FastFlow is always more efficient than all of them in a set of micro-benchmarks and on a real world application; the speedup edge of FastFlow over other solutions might be bold for fine grain tasks, as an example +35% on OpenMP, +226% on Cilk, +96% on TBB for the alignment of protein P01111 against UniProt DB using Smith-Waterman algorithm.

研究动机与目标

• 解决传统框架中因内存屏障和原子操作导致的共享内存流处理应用性能瓶颈。
• 设计一种低级别框架，支持在任意流网络（包括有向环图）中实现高效、高吞吐量的通信。
• 通过高性能通信层，实现对遗留手写优化代码（如 x86/SSE2 向量化 Smith-Waterman 算法）的高效并行化。
• 证明 FastFlow 在微基准测试和真实世界流处理应用中均优于当前最先进的框架（Cilk、OpenMP、TBB）。
• 将 FastFlow 定位为未来多核架构上高级别骨架式流处理框架的基础。

提出的方法

• 实现无锁、无内存屏障的 MPMC 队列作为核心通信原语，以消除互斥锁和原子操作带来的同步开销。
• 使用线程特定标识符（通过 TSS 或库调用）实现流网络中高效、低开销的任务路由。
• 将流处理管道结构化为农场模式：发射器生成序列对，工作线程使用向量化 Smith-Waterman 算法进行处理，收集器聚合结果。
• 将每个并行实体（发射器、工作线程、收集器）直接映射到一个线程，以确保最小的运行时开销和可预测的负载分布。
• 使用每秒细胞更新数（CUPS）指标来标准化不同查询和数据库大小下的性能比较。
• 使用相同的顺序手写优化 x86/SSE2 Smith-Waterman 代码对所有实现进行基准测试，以确保公平比较。

实验结果

研究问题

• RQ1 无锁、无内存屏障的 MPMC 队列设计是否能在流处理工作负载中显著降低通信开销，相比传统的基于互斥锁或原子操作的同步机制？
• RQ2 FastFlow 在 Smith-Waterman 序列比对算法上的性能与 Cilk、OpenMP、TBB 以及手工调优的 SWPS3 版本相比如何？
• RQ3 FastFlow 的低级别通信抽象是否能在细粒度、数据并行的流处理任务中实现优于高层级框架的性能？
• RQ4 为何 TBB 在 Smith-Waterman 基准测试中表现低于预期，尽管其微基准测试结果表现强劲？
• RQ5 FastFlow 是否能够无需算法修改，高效并行化遗留的手写优化顺序代码？

主要发现

• 在蛋白质 P01111 与 UniProt 数据库的 Smith-Waterman 比对中，FastFlow 的性能比 OpenMP 最高提升 35%，比 Cilk 最高提升 226%。
• 对于短查询序列，FastFlow 的性能优势最为显著，因为其通信开销相对于计算时间更低。
• TBB 在 Smith-Waterman 基准测试中的表现出乎意料地低于预期，表明其任务调度器或队列管理中存在未被识别的开销。
• FastFlow 在短序列上优于最先进的手工调优 SWPS3 实现，证明其能够高效并行化遗留代码。
• 该框架在合成微基准测试和真实世界生物信息学工作负载中均持续优于所有评估的框架。
• FastFlow 的设计使得其能够高效支持任意流网络拓扑结构（包括有向环图），原因在于其低延迟、无锁的通信通道。