[논문 리뷰] 300x Faster Matlab using MatlabMPI

Jeremy Kepner, Stanley C. Ahalt|arXiv (Cornell University)|2002. 07. 18.

Parallel Computing and Optimization Techniques인용 수 3

한 줄 요약

이 논문은 표준 파일 I/O를 사용하여 고성능 병렬 계산을 가능하게 하는 경량의 순수 Matlab 구현인 MatlabMPI를 제시한다. Matlab의 내장 파일 연산을 활용하여 304 CPUs에서 최대 300배의 성능 향상을 이룩했으며, 코드량은 70줄 뿐이어서 소프트웨어 성능 비용 측면에서 전례 없는 성과(1 SLOC당 0.85 GFLOPS)를 달성했다.

ABSTRACT

The true costs of high performance computing are currently dominated by software. Addressing these costs requires shifting to high productivity languages such as Matlab. MatlabMPI is a Matlab implementation of the Message Passing Interface (MPI) standard and allows any Matlab program to exploit multiple processors. MatlabMPI currently implements the basic six functions that are the core of the MPI point-to-point communications standard. The key technical innovation of MatlabMPI is that it implements the widely used MPI ``look and feel'' on top of standard Matlab file I/O, resulting in an extremely compact (~250 lines of code) and ``pure'' implementation which runs anywhere Matlab runs, and on any heterogeneous combination of computers. The performance has been tested on both shared and distributed memory parallel computers (e.g. Sun, SGI, HP, IBM and Linux). MatlabMPI can match the bandwidth of C based MPI at large message sizes. A test image filtering application using MatlabMPI achieved a speedup of ~300 using 304 CPUs and ~15% of the theoretical peak (450 Gigaflops) on an IBM SP2 at the Maui High Performance Computing Center. In addition, this entire parallel benchmark application was implemented in 70 software-lines-of-code (SLOC) yielding 0.85 Gigaflop/SLOC or 4.4 CPUs/SLOC, which are the highest values of these software price performance metrics ever achieved for any application. The MatlabMPI software will be available for download.

연구 동기 및 목표

• 고성능 컴퓨팅의 높은 소프트웨어 비용 문제를 해결하기 위해 고생산성 Matlab 코드가 병렬 시스템에서 효율적으로 실행되도록 하는 것.
• Matlab를 위한 널리 보급되고 이식 가능하며 고성능인 병렬화 솔루션이 부족한 문제를 해결하기 위한 것.
• 모든 Matlab이 설치된 시스템에서 작동하는 최소 크기이면서 이식 가능하고 고성능인 Matlab용 MPI 인터페이스를 개발하는 것.
• 고성능 병렬 계산이 최소한의 코드로 최대의 생산성과 함께 달성될 수 있음을 입증하는 것.

제안 방법

• 저수준의 C/Fortran 종속성을 피하기 위해 표준 Matlab 파일 I/O를 사용하여 MPI의 점대점 통신을 구현하는 것.
• 프로세스 간 메시지 전송 및 수신을 조율하기 위해 파일 잠금 메커니즘을 사용하는 것.
• 메시지 식별을 위한 메타데이터를 포함하여 MPI 함수(MPI_Send, MPI_Recv 등)를 파일 쓰기/읽기 연산으로 매핑하는 것.
• MPI_Run 명령어를 통해 병렬 Matlab 스크립트를 여러 대의 컴퓨터에 분산 실행할 수 있도록 하는 것.
• 모든 이종 클러스터에서 Matlab이 설치된 환경에서 작동하는 약 250줄의 컴act한 구현을 설계하는 것.
• 이미지 필터링 벤치마크에서 이웃 데이터 교환을 효율적으로 관리하기 위해 고리 기반 통신 패턴을 사용하는 것.

실험 결과

연구 질문

• RQ1 대용량 메시지 크기에 대해 순수 Matlab로 구현된 MPI가 C 기반 MPI와 비교해 유사한 성능을 낼 수 있는가?
• RQ2 최소 크기의 이식 가능하고 고성능인 Matlab용 MPI 인터페이스가 대규모 병렬 시스템에서 상당한 성능 향상을 이룰 수 있는가?
• RQ3 고수준 프로그래밍 언어인 Matlab를 경량 병렬 레이어와 함께 사용할 경우, 달성 가능한 소프트웨어 성능 비용(GFLOPS per SLOC 등)은 어느 정도인가?
• RQ4 실제 HPC 환경에서 MatlabMPI의 성능이 대규모 프로세서 수에 따라 어떻게 스케일링되는가?
• RQ5 고생산성 언어인 Matlab이 효율적인 통신 레이어와 조합될 경우 초고성능 컴퓨터에서 최고 성능에 가까운 성능을 달성할 수 있는가?

주요 결과

• MatlabMPI는 IBM SP2에서 304 CPUs를 사용하여 300배의 성능 향상을 이룩했으며, 이는 이론적 최고 성능(450 GFLOPS)의 15%에 해당한다.
• 이미지 필터링 벤치마크에서 1 SLOC당 0.85 GFLOPS를 기록하여 당시까지 보고된 바 있는 응용 프로그램 중 가장 높은 수치를 기록했다.
• 대용량 메시지 크기에서 C 기반 MPI와 동일한 대역폭을 확보하여 강력한 성능 이식성(Performance Portability)을 입증했다.
• 전체 병렬 응용 프로그램은 단지 70줄의 코드로 작성되었으며, 순수한 버전(35줄)보다 100% 증가했지만 여전히 매우 컴act했다.
• 이 구현은 완전히 이식 가능하며, 외부 라이브러리가 필요 없이 표준 파일 I/O만으로도 모든 Matlab이 설치된 시스템에서 작동한다.
• 최소한의 코드 오버헤드로 고생산성 병렬 계산이 가능해지며, 소프트웨어 성능 비용 측면에서 새로운 기준을 설정했다.