[논문 리뷰] A Multilevel Approach to Topology-Aware Collective Operations in Computational Grids

Nicholas T. Karonis, Bronis R. de Supinski외 3명|ArXiv.org|2002. 06. 24.

Distributed and Parallel Computing Systems참고 문헌 15인용 수 23

한 줄 요약

이 논문은 계산 그리드에서 MPI 집합 연산을 위한 다수준 위상 인식 방법을 제안하며, 계층적 네트워크 구조 정보를 활용해 느린 링크를 통한 통신을 최소화한다. 로컬, 클러스터, 광역망과 같은 여러 네트워크 계층에서 위상 인식 트리를 구성함으로써, 이중 계층 위상 인식 방법과 표준 이진수 나무 방법보다도 MPI_Bcast 및 기타 연산에서 더 낮은 계층 간 통신 비용을 달성한다.

ABSTRACT

The efficient implementation of collective communiction operations has received much attention. Initial efforts produced "optimal" trees based on network communication models that assumed equal point-to-point latencies between any two processes. This assumption is violated in most practical settings, however, particularly in heterogeneous systems such as clusters of SMPs and wide-area "computational Grids," with the result that collective operations perform suboptimally. In response, more recent work has focused on creating topology-aware trees for collective operations that minimize communication across slower channels (e.g., a wide-area network). While these efforts have significant communication benefits, they all limit their view of the network to only two layers. We present a strategy based upon a multilayer view of the network. By creating multilevel topology-aware trees we take advantage of communication cost differences at every level in the network. We used this strategy to implement topology-aware versions of several MPI collective operations in MPICH-G2, the Globus Toolkit[tm]-enabled version of the popular MPICH implementation of the MPI standard. Using information about topology provided by MPICH-G2, we construct these multilevel topology-aware trees automatically during execution. We present results demonstrating the advantages of our multilevel approach by comparing it to the default (topology-unaware) implementation provided by MPICH and a topology-aware two-layer implementation.

연구 동기 및 목표

• 계산 그리드와 같은 이질적이고 다수준 네트워크 환경에서 전통적인 집합 연산의 비최적 성능을 해결하기 위해.
• 이전의 위상 인식 방법이 로컬 네트워크와 광역망과 같은 두 계층만 구분한다는 한계를 극복하기 위해.
• 느린 채널을 통해 지연을 최소화하는 다수준 통신 트리를 자동으로 구성할 수 있는 확장 가능한 방법을 설계하고 구현하기 위해.
• MPICH-G2에 통합하여 응용 프로그램의 코드 변경 없이 위상 인식 집합 연산을 가능하게 하기 위해.
• 다수준 위상 인식이 표준 및 이중 계층 위상 인식 구현보다 성능 향상을 얼마나 이루는지 평가하기 위해.

제안 방법

• 프로세스가 동일한 로컬 네트워크를 공유한다는 것을 식별하기 위해 환경 변수를 사용하며, 이전의 도메인 이름 기반 히وري스틱 기법을 대체한다.
• 숨겨진 커뮤니케이터를 정수 벡터로 대체하여 다수준 클러스터를 표현함으로써, 임의의 통신 트리를 직접 구성할 수 있도록 한다.
• 예상되는 통신 지연 시간을 기반으로 네트워크를 여러 계층으로 분할하여 위상 인식 트리를 구축한다.
• MPI_Bcast, MPI_Reduce, MPI_Barrier, MPI_Gather, MPI_Scatter와 같은 집합 연산을 이러한 사용자 정의 트리 위에서 점대점 연산을 사용하여 구현한다.
• 특히 광역망 간 링크를 통한 트래픽을 최소화하는 통신 패턴을 자동으로 선택한다.
• Globus Toolkit 서비스를 사용해 광역 및 이질적 환경에서의 실행을 지원하는 MPICH-G2와 통합된다.

실험 결과

연구 질문

• RQ1 광역 계산 그리드 환경에서 이중 계층 또는 기본 접근 방식과 비교해 다수준 네트워크 추상화가 MPI 집합 연산의 성능을 향상시킬 수 있는가?
• RQ2 계층적 네트워크 구조 정보의 사용이 집합 연산에서 통신 비용과 확장성에 어떤 영향을 미치는가?
• RQ3 여러 네트워크 계층을 통해 구성된 위상 인식 트리가 클러스터 간 또는 광역망 간 통신을 얼마나 줄일 수 있는가?
• RQ4 기존 MPI 런타임 환경에 다수준 접근 방식을 효율적으로 구현할 수 있는가? 이 경우 응용 프로그램의 수정이 필요하지 않은가?
• RQ5 통신 지연 특성에 따라 다양한 네트워크 계층에서 다양한 트리 구조(예: 이진수 트리 대비 평탄한 트리)의 성능은 어떻게 다른가?

주요 결과

• 다수준 위상 인식 방법은 MPICH의 기본 이진수 나무 구현보다 특히 광역 그리드 환경에서 MPI_Bcast에서 뚜렷한 성능 향상을 보였다.
• MagPIe의 이중 계층 위상 인식 방법과 비교해 다수준 접근 방식은 더 깊은 네트워크 계층을 활용함으로써 계층 간 통신 비용을 추가로 감소시켰다.
• 숨겨진 커뮤니케이터 대신 정수 벡터를 사용함으로써 더 효율적이고 융통성 있는 트리 구축이 가능해졌으며, 중첩된 집합 연산의 오버헤드를 피할 수 있었다.
• 특히 느린 광역망 링크를 통한 메시지 수를 최소화함으로써 성능 향상을 달성했으며, 클러스터 간 통신에서 O(log N) 수준의 비용 절감 가능성이 있었다.
• 초기 결과에서는 MPI_Bcast 및 기타 집합 연산에서 명확한 성능 향상이 관측되었으며, 이는 이중 계층 또는 무지식한 접근 방식 대비 다수준 인식의 가치를 입증한다.
• 이 방법은 실용적이고 구현 가능하며, 환경 변수 설정만으로 가능하고 MPI 응용 프로그램의 코드 변경이 필요하지 않다.