[논문 리뷰] MPICH-G2: A Grid-Enabled Implementation of the Message Passing Interface

Nicholas T. Karonis, Brian Toonen외 1명|ArXiv.org|2002. 06. 25.

Distributed and Parallel Computing Systems참고 문헌 33인용 수 11

한 줄 요약

MPICH-G2는 MPI-1 표준의 그리드 기반 구현체로, 이는 이질적이고 지리적으로 분산된 자원 간에 무결성 있게 MPI 응용 프로그램을 실행할 수 있도록 Globus 툴킷을 활용한다. 인증, 자원 할당, 프로세스 관리 서비스를 통합함으로써 사용자는 표준 명령어를 사용해 MPI 프로그램을 실행할 수 있으며, 거의 네이티브 성능을 달성하고 네트워크 토폴로지 및 서비스 품질 수준의 응용 프로그램 수준 관리를 가능하게 한다.

ABSTRACT

Application development for distributed computing "Grids" can benefit from tools that variously hide or enable application-level management of critical aspects of the heterogeneous environment. As part of an investigation of these issues, we have developed MPICH-G2, a Grid-enabled implementation of the Message Passing Interface (MPI) that allows a user to run MPI programs across multiple computers, at the same or different sites, using the same commands that would be used on a parallel computer. This library extends the Argonne MPICH implementation of MPI to use services provided by the Globus Toolkit for authentication, authorization, resource allocation, executable staging, and I/O, as well as for process creation, monitoring, and control. Various performance-critical operations, including startup and collective operations, are configured to exploit network topology information. The library also exploits MPI constructs for performance management; for example, the MPI communicator construct is used for application-level discovery of, and adaptation to, both network topology and network quality-of-service mechanisms. We describe the MPICH-G2 design and implementation, present performance results, and review application experiences, including record-setting distributed simulations.

연구 동기 및 목표

• 사용자 코드의 변경 없이 이질적이고 광역 분산 시스템 간에 MPI 응용 프로그램을 투명하게 실행할 수 있도록 하는 것.
• MPI의 기존 구조가 그리드 환경에서 네트워크 토폴로지 및 서비스 품질과 같은 이질성을 효과적으로 관리할 수 있는지 조사하는 것.
• 기존에 밀접하게 결합된 클러스터에서 주로 사용되어 온 MPI가 광역 그리드 컴퓨팅을 위한 실용적이고 효율적인 프로그래밍 모델이 될 수 있는지 평가하는 것.
• 표준 MPI 인터페이스 및 도구와의 호환성을 유지하면서 광역 네트워크에서의 성능 오버헤드를 줄이는 것.
• 전통적인 HPC와 새로운 그리드 기반 과학 응용 프로그램 모두에 대해 MPI가 확장 가능하고 사용자 우호적인 모델로 실현 가능함을 보여주는 것.

제안 방법

• 인증, 권한 부여, 자원 할당, 실행 파일 스테이징을 위한 Globus 툴킷 서비스를 아르곤나 MPICH의 확장으로 통합한다.
• Globus 미들웨어를 사용해 관리 도메인 간에 프로세스 생성, 모니터링, 제어 및 입출력 리디렉션을 자동화한다.
• 시작 및 집합적 통신과 같은 성능에 민감한 작업에 네트워크 토폴로지 정보를 통합하여 데이터 이동 최적화를 수행한다.
• MPI 커뮤니케이터를 활용해 계층적 시스템 구조를 표현하고 네트워크 토폴로지 및 QoS 메커니즘에 대한 응용 프로그램 수준의 적응을 가능하게 한다.
• 광역 네트워크에서 지연 시간을 관리하고 성능을 향상시키기 위해 비동기 작업 및 토폴로지 인식 집합 알고리즘을 활용한다.
• 확장성과 효율성을 향상시키기 위해 핵심 컴포넌트를 재구현하여 이전의 MPICH-G 시스템에 비해 성능과 확장성 면에서 크게 향상시켰다.

실험 결과

연구 질문

• RQ1 MPI가 성능 오버헤드를 크게 유발하지 않고 그리드 컴퓨팅의 프로그래밍 모델로 효과적으로 사용될 수 있는가?
• RQ2 기존 MPI 구조, 특히 커뮤니케이터와 비동기 작업이 광역 분산 환경에서의 이질성을 얼마나 효과적으로 관리할 수 있는가?
• RQ3 Globus 툴킷 서비스의 통합이 관리 도메인 간에 인증, 자원 할당, 프로세스 제어를 투명하고 자동으로 관리할 수 있도록 하는가?
• RQ4 MPICH-G2의 성능은 국지 네트워크와 광역 네트워크 환경 모두에서 네이티브 MPI 실행 구현체와 비교해 어떻게 되는가?
• RQ5 MPI 기반 응용 프로그램은 복잡한 시뮬레이션과 시각화 파이프라인을 포함한 실제 그리드 환경에서 높은 확장성과 신뢰성을 달성할 수 있는가?

주요 결과

• MPICH-G2는 네이티브 MPI 실행 구현체와 비교해 거의 무시할 수 없는 성능 오버헤드를 달성했으며, 통신 기능 지연 시간은 국지 실행과 거의 구분되지 않았다.
• Globus 툴킷 서비스의 사용으로 인해 인증, 실행 파일 스테이징, 자원 할당을 포함한 완전한 자동화된 작업 설정이 가능해졌으며, 사용자는 여러 사이트 간에 표준 mpirun 명령어로 MPI 프로그램을 실행할 수 있게 되었다.
• MPI 커뮤니케이터를 통한 네트워크 토폴로지 탐색 및 적응이 성공적으로 이루어져 계층적이고 광역 네트워크에서의 성능 향상을 이룩했다.
• 실험을 통해 QoS 인식 통신 패턴을 적용한 결과, MPI 구조를 활용한 사용자 수준의 네트워크 품질 관리가 가능함을 입증했다.
• MPICH-G2는 기록적인 분산 시뮬레이션과 다양한 응용 분야, 예를 들어 원격 시각화 및 대규모 수치 모델링 등 생산 환경에서 성공적으로 사용된 바 있다.
• 이 구현은 MPI가 매우 이질적이고 광역 환경에서도 실현 가능하고 확장 가능하며 효율적인 그리드 컴퓨팅 프로그래밍 모델이 될 수 있음을 보여주었다.