[논문 리뷰] FastFlow tutorial

Marco Aldinucci, Marco Danelutto외 1명|arXiv (Cornell University)|2012. 04. 24.

Parallel Computing and Optimization Techniques참고 문헌 7인용 수 4

한 줄 요약

FastFlow은 공유 메모리 다중코어 아키텍처를 위한 구조적 병렬 프로그래밍 프레임워크로, 알고리즘 스켈레톤과 최적화된 통신 메커니즘을 통해 미세한 병렬 애플리케이션의 효율적 개발을 가능하게 한다. 이 프레임워크는 계층적이고 오픈소스인 소프트웨어 프레임워크를 제공함으로써 기존 C/C++ 코드를 최소한의 수정으로 고성능 스트리밍 네트워크를 구축할 수 있도록 하여 기존 코드의 성능을 가속화한다.

ABSTRACT

FastFlow is a structured parallel programming framework targeting shared memory multicores. Its layered design and the optimized implementation of the communication mechanisms used to implement the FastFlow streaming networks provided to the application programmer as algorithmic skeletons support the development of efficient fine grain parallel applications. FastFlow is available (open source) at SourceForge (this http URL). This work introduces FastFlow programming techniques and points out the different ways used to parallelize existing C/C++ code using FastFlow as a software accelerator. In short: this is a kind of tutorial on FastFlow.

연구 동기 및 목표

• 공유 메모리 다중코어 아키텍처에서 효율적이고 이식 가능하며 확장 가능한 병렬 애플리케이션을 개발하는 데 도전하는 것.
• 고수준의 알고리즘 스켈레톤을 통해 저수준 스레딩과 동기화를 추상화하여 병렬 프로그래밍의 복잡성을 줄이는 것.
• 최적화된 통신 메커니즘을 통해 스트리밍 워크로드에서 성능 이식성과 고처리량을 달성하는 것.
• 주요 리팩터링 없이 점진적인 병렬화를 가능하게 하여 기존 C/C++ 코드베이스에 실용적인 소프트웨어 가속기를 제공하는 것.
• 튜토리얼 기반의 오픈소스 프레임워크를 통해 병렬 애플리케이션 개발의 생산성과 성능을 향상시키는 것.

제안 방법

• 응용 프로그램 로직을 저수준 병렬 처리 관련 요소에서 분리하기 위해 계층적 아키텍처 설계를 활용하는 것.
• 파이프라인과 팜과 같은 알고리즘 스켈레톤을 사용하여 데이터 병렬 및 작업 병렬 워크로드를 표현하는 재사용 가능한 패턴을 제공하는 것.
• 미세 병렬 처리에서 오버헤드를 최소화하기 위해 통신 메커니즘(예: 락 없는 큐와 워크 스틸링)을 최적화하는 것.
• 기존 C/C++ 코드베이스와의 원활한 통합을 가능하게 하는 C++ 기반 API를 제공하는 것.
• 워크 스틸링과 스레드 풀 추상화를 사용하여 자동 로드 밸런싱과 확장 가능한 작업 분배를 지원하는 것.
• 워크로드 특성과 하드웨어 토폴로지에 적응하기 위해 정적 및 동적 스케줄링 전략을 사용하는 것.

실험 결과

연구 질문

• RQ1 기존 C/C++ 코드를 대규모 리팩터링 없이 고수준 프레임워크를 사용해 어떻게 효율적으로 병렬화할 수 있는가?
• RQ2 FastFlow의 통신 메커니즘이 미세 병렬 스트리밍 워크로드에서 어떤 성능 특성을 가지는가?
• RQ3 FastFlow이 공유 메모리 다중코어 시스템에서 애플리케이션 처리량과 확장성에 얼마나 기여할 수 있는가?
• RQ4 FastFlow의 계층적 아키텍처는 병렬 프로그래밍에서 생산성과 성능을 어떻게 동시에 지원하는가?
• RQ5 구조적 병렬 프로그래밍 프레임워크에서 사용성 향상과 성능 사이의 실질적 트레이드오프는 무엇인가?

주요 결과

• FastFlow은 최적화된 저오버헤드 통신 메커니즘 덕분에 스트리밍 애플리케이션에서 뚜렷한 성능 향상을 이룬다.
• 이 프레임워크는 기존 C/C++ 코드를 최소한의 수정으로 병렬화할 수 있게 하여 다중코어 시스템에서 고처리량과 확장성을 달성한다.
• 파이프라인과 팜과 같은 알고리즘 스켈레톤은 복잡한 병렬 워크로드 개발을 단순화하면서도 성능을 유지한다.
• FastFlow에서 워크 스틸링과 락 없는 데이터 구조의 사용은 미세 병렬 처리에서 경쟁을 줄이고 로드 밸런싱을 향상시킨다.
• FastFlow의 계층적 아키텍처는 높은 생산성과 저수준 성능 튜닝을 모두 지원하여 성능에 민감한 애플리케이션에 적합하다.
• SourceForge에서 공개된 FastFlow은 커뮤니티의 채택과 프로덕션 코드베이스에의 통합을 가능하게 한다.