[논문 리뷰] Hybrid MPI-OpenMP Paradigm on SMP Clusters: MPEG-2 Encoder and N-Body Simulation

Truong Vinh Truong Duy, Katsuhiro Yamazaki외 2명|arXiv (Cornell University)|2012. 11. 10.

Parallel Computing and Optimization Techniques참고 문헌 6인용 수 8

한 줄 요약

이 논문은 SMP 클러스터에서 분산 메모리(MPI)와 공유 메모리(OpenMP) 병렬 처리를 모두 활용하기 위해 하이브리드 MPI-OpenMP 프로그래밍 모델을 제안한다. n-body 시뮬레이션에서는 순수 MPI 대비 1.52×의 성능 향상을 달성했고, MPEG-2 인코딩에서는 계층적 데이터 분해 및 OpenMP 스케줄링을 통한 동적 로드 밸런싱을 통해 18% 향상된 성능을 보였다.

ABSTRACT

Clusters of SMP nodes provide support for a wide diversity of parallel programming paradigms. Combining both shared memory and message passing parallelizations within the same application, the hybrid MPI-OpenMP paradigm is an emerging trend for parallel programming to fully exploit distributed shared-memory architecture. In this paper, we improve the performance of MPEG-2 encoder and n-body simulation by employing the hybrid MPI-OpenMP programming paradigm on SMP clusters. The hierarchical image data structure of the MPEG bit-stream is eminently suitable for the hybrid model to achieve multiple levels of parallelism: MPI for parallelism at the group of pictures level across SMP nodes and OpenMP for parallelism within pictures at the slice level within each SMP node. Similarly, the work load of the force calculation which accounts for upwards of 90% of the cycles in typical computations in the n-body simulation is shared among OpenMP threads after ORB domain decomposition among MPI processes. Besides, loop scheduling of OpenMP threads is adopted with appropriate chunk size to provide better load balance of work, leading to enhanced performance. With the n-body simulation, experimental results demonstrate that the hybrid MPI-OpenMP program outperforms the corresponding pure MPI program by average factors of 1.52 on a 4-way cluster and 1.21 on a 2-way cluster. Likewise, the hybrid model offers a performance improvement of 18% compared to the MPI model for the MPEG-2 encoder.

연구 동기 및 목표

• SMP 클러스터에서 계산 집약적인 과학 및 멀티미디어 워크로드의 성능을 향상시키기 위해 MPI와 OpenMP 패러다임을 융합함으로써 성능 향상을 도모한다.
• 순수 MPI 구현에서의 로드 불균형과 자원 활용 효율성 저하 문제를 하이브리드 병렬 처리를 통해 해결한다.
• MPEG-2 인코딩 및 n-body 시뮬레이션과 같은 데이터 병렬 응용 프로그램에서 다중 수준의 병렬 처리를 활용한다.
• 다양한 클러스터 구성에서 실세계 워크로드를 사용하여 하이브리드 MPI-OpenMP의 효과성을 평가한다.

제안 방법

• MPEG-2 인코딩에서는 그룹 오브 프레임(GoP) 수준에서, n-body 시뮬레이션에서는 도메인 분해 수준에서 MPI를 사용해 노드 간 병렬 처리를 수행한다.
• MPEG-2에서는 슬라이스 수준에서, n-body 시뮬레이션에서는 力 계산 도메인 내에서 OpenMP를 사용해 노드 내 병렬 처리를 수행한다.
• 스레드 간 작업을 균형 있게 분배하고 로드 불균형을 줄이기 위해 최적화된 청크 크기를 가진 동적 루프 스케줄링을 OpenMP에 적용한다.
• n-body 문제를 MPI 프로세스 간 궤도 기반(ORB) 도메인 분해를 통해 분할하고, 각 도메인 내 力 계산은 OpenMP가 담당한다.
• SMP 노드 간(OpenMP) 및 노드 내(OpenMP) 병렬 처리를 효과적으로 활용하기 위해 MPEG-2 인코딩에 계층적 데이터 구조를 구현한다.
• 2-way 및 4-way SMP 클러스터에서 하이브리드 MPI-OpenMP와 순수 MPI 구현 간 성능 비교를 통해 성능 향상을 측정한다.

실험 결과

연구 질문

• RQ1 SMP 클러스터에서 순수 MPI 대비 하이브리드 MPI-OpenMP 모델이 n-body 시뮬레이션에서 성능을 얼마나 향상시키는가?
• RQ2 다중 수준 병렬 처리를 통해 하이브리드 모델이 MPEG-2 인코딩의 성능을 얼마나 향상시키는가?
• RQ3 적응형 청크 크기를 가진 OpenMP 루프 스케줄링이 하이브리드 모델에서 로드 불균형을 줄이는 데 어떤 역할을 하는가?
• RQ4 ORB 도메인 분해와 OpenMP 스레딩을 조합하여 n-body 시뮬레이션에서 확장 가능한 성능을 달성하는 데 얼마나 효과적인가?
• RQ5 SMP 클러스터에서 실세계 응용 프로그램에 하이브리드 MPI-OpenMP 패러다임을 적용할 경우 얻을 수 있는 성능 향상은 어느 정도인가?

주요 결과

• 하이브리드 MPI-OpenMP 구현은 4-way SMP 클러스터에서 순수 MPI 대비 평균 1.52×의 성능 향상을 달성했다.
• 2-way SMP 클러스터에서는 n-body 시뮬레이션 워크로드에서 순수 MPI 대비 1.21×의 성능 향상을 기록했다.
• MPEG-2 인코딩에서는 하이브리드 모델이 순수 MPI 버전 대비 18% 향상된 성능을 보였다.
• 적절한 청크 크기를 가진 동적 OpenMP 루프 스케줄링은 로드 밸런싱을 크게 향상시키며 성능 향상에 기여했다.
• MPEG-2 인코딩에서의 계층적 데이터 구조는 노드 간(MPI) 및 노드 내(OpenMP) 병렬 처리를 효과적으로 활용하는 데 기여했다.
• 다양한 클러스터 구성에서 일관된 성능 향상이 관찰되어, 이 모델의 확장성과 효율성을 입증했다.