[论文解读] FastFlow tutorial

Marco Aldinucci, Marco Danelutto+1 more|arXiv (Cornell University)|Apr 24, 2012

Parallel Computing and Optimization Techniques参考文献 7被引用 4

一句话总结

FastFlow 是一个面向共享内存多核系统的结构化并行编程框架，通过算法骨架和优化的通信机制，实现细粒度并行应用的高效开发。它通过提供分层的开源软件框架，在最小化代码修改的前提下，加速现有 C/C++ 代码，用于构建高性能流式网络。

ABSTRACT

FastFlow is a structured parallel programming framework targeting shared memory multicores. Its layered design and the optimized implementation of the communication mechanisms used to implement the FastFlow streaming networks provided to the application programmer as algorithmic skeletons support the development of efficient fine grain parallel applications. FastFlow is available (open source) at SourceForge (this http URL). This work introduces FastFlow programming techniques and points out the different ways used to parallelize existing C/C++ code using FastFlow as a software accelerator. In short: this is a kind of tutorial on FastFlow.

研究动机与目标

• 解决在共享内存多核架构上开发高效、可移植且可扩展的并行应用程序的挑战。
• 通过高层算法骨架抽象低层线程和同步机制，降低并行编程的复杂性。
• 通过优化的通信机制，实现流式工作负载中的性能可移植性和高吞吐量。
• 通过支持增量并行化而无需大规模重构，为现有 C/C++ 代码库提供实用的软件加速。
• 通过教程驱动的开源框架，提升并行应用开发的生产力和性能。

提出的方法

• 采用分层架构设计，将应用逻辑与底层并行性关注点解耦。
• 使用算法骨架（如流水线和农场）作为可重用模式，表达数据并行和任务并行工作负载。
• 通过锁无关队列和工作窃取等机制优化通信机制，以最小化细粒度并行性中的开销。
• 提供基于 C++ 的 API，支持与现有 C/C++ 代码库无缝集成。
• 利用工作窃取和线程池抽象，支持自动负载均衡和可扩展的任务分发。
• 采用静态和动态调度策略，以适应工作负载特征和硬件拓扑结构。

实验结果

研究问题

• RQ1 如何在不进行大规模重构的情况下，通过高层框架高效并行化现有的 C/C++ 代码？
• RQ2 FastFlow 的通信机制在细粒度并行流式工作负载中的性能特征如何？
• RQ3 FastFlow 在共享内存多核系统上能多大程度地提升应用吞吐量和可扩展性？
• RQ4 FastFlow 的分层设计在并行编程中如何同时支持生产力和性能？
• RQ5 在结构化并行编程框架中，易用性与性能之间的实际权衡是什么？

主要发现

• FastFlow 通过优化的、低开销的通信机制，在流式应用中实现了显著的性能提升。
• 该框架允许对现有 C/C++ 代码进行极少修改即可实现并行化，在多核系统上实现高吞吐量和可扩展性。
• 如流水线和农场等算法骨架简化了复杂并行工作负载的开发，同时保持高性能。
• FastFlow 中使用的工作窃取和无锁数据结构减少了争用，改善了细粒度并行性中的负载均衡。
• FastFlow 的分层架构同时支持高生产力和底层性能调优，使其适用于性能关键型应用。
• FastFlow 在 SourceForge 上的开源可用性，促进了社区采纳，并可集成到生产代码库中。