[논문 리뷰] MPI Benchmarking Revisited: Experimental Design and Reproducibility

Sascha Hunold, Alexandra Carpen-Amarie|arXiv (Cornell University)|2015. 05. 28.

Parallel Computing and Optimization Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 실험 설계의 핵심 문제인 시계 및 프로세스 동기화를 다루며, 실행 시간 측정에 영향을 주는 숨겨진 실험 요인을 규명하는 통계적으로 타당하고 재현 가능한 MPI 벤치마킹 방법론을 제안한다. 저자들은 새로운 시계 동기화 알고리즘과 철저한 통계 분석을 도입하여 측정 변동성을 감소시키고, 다양한 슈퍼컴퓨터 아키텍처에서 MPI 구현 간 공정하고 반복 가능한 비교를 가능하게 한다.

ABSTRACT

The Message Passing Interface (MPI) is the prevalent programming model used on today's supercomputers. Therefore, MPI library developers are looking for the best possible performance (shortest run-time) of individual MPI functions across many different supercomputer architectures. Several MPI benchmark suites have been developed to assess the performance of MPI implementations. Unfortunately, the outcome of these benchmarks is often neither reproducible nor statistically sound. To overcome these issues, we show which experimental factors have an impact on the run-time of blocking collective MPI operations and how to control them. We address the problem of process and clock synchronization in MPI benchmarks. Finally, we present a new experimental method that allows us to obtain reproducible and statistically sound MPI measurements.

연구 동기 및 목표

• 기존 MPI 벤치마킹 관행에서의 재현성 부족과 통계적 타당성 결여 문제를 해결하기 위해.
• 컴파일러 플래그, DVFS 설정, mpirun 호출 등 입력 크기와 메시지 길이 외의 요인들이 MPI 실행 시간 측정에 미치는 영향을 규명하고 통제하기 위해.
• MPI 라이브러리의 정확하고 반복 가능하며 통계적으로 타당한 성능 비교를 보장하는 벤치마킹 프레임워크를 개발하기 위해.
• 시계 및 프로세스 동기화를 향상시켜 MPI 벤치마킹의 측정 변동성을 감소시키기 위해.
• 이질적인 슈퍼컴퓨터 시스템 간의 MPI 성능 평가를 위한 표준화되고 증거 기반의 방법을 제공하기 위해.

제안 방법

• 프로세스 간 시계 오차를 고려한 새로운 시계 동기화 알고리즘을 도입하여 단순한 오프셋 보정을 초월한 정밀한 시간 측정을 향상시킨다.
• 전역적으로 동기화된 시계를 사용하는 윈도우 기반 동기화 접근 방식을 적용하여 MPI 함수 측정 시 시간 진동을 최소화한다.
• 링크 순서 및 환경 크기와 같은 숨겨진 변수를 통제하기 위해 무작위 실험 설계를 적용한다.
• 비모수적 가설 검정—특히 윌코신 서열 검정—을 사용하여 통계적 추론이 강력한 MPI 구현 간 성능 비교를 수행한다.
• 통계적 신뢰구간을 활용한 다중 복제 측정 방식을 구현하여 변동성 평가와 신뢰성 확보를 수행한다.
• Grid’5000 테스트베드를 활용하여 기존 벤치마크와 비교해 변동성이 감소하고 재현성이 향상됨을 입증한다.

실험 결과

연구 질문

• RQ1 시계 및 프로세스 동기화 방법은 MPI 벤치마킹 실행 시간의 정확성과 재현성에 어떤 영향을 미치는가?
• RQ2 입력 크기와 메시지 길이 외에 어떤 실험 요인이 MPI 함수 성능 측정에 중대한 영향을 미치는가?
• RQ3 동일한 설정 조건에서도 mpirun 호출 자체가 측정된 실행 시간에 영향을 미치는 정도는 어느 정도인가?
• RQ4 통계적으로 타당한 벤치마킹 프레임워크는 측정 변동성을 감소시키고 MPI 성능 평가의 재현성을 향상시킬 수 있는가?
• RQ5 비모수적 통계 검정은 어떤 방식으로 MPI 라이브러리 성능 비교에 있어 높은 신뢰도와 낮은 I형 오류를 달성하는가?

주요 결과

• 프로세스 간 시계 오차는 특히 짧은 수명의 작업에서 심각한 시간 측정 오차를 유발하며, 정확한 측정을 위해 보정이 필수적이다.
• mpirun 명령어 자체가 핵심 실험 요소이며, 동일한 설정 조건에서도 동일한 벤치마크의 다른 호출 간 평균 실행 시간에 유의미한 차이가 발생할 수 있다.
• 컴파일러 플래그와 DVFS 설정이 MPI 함수 실행 시간에 측정 가능한 영향을 미치는 것으로 확인되어, 통제된 실험 조건이 필요함을 시사한다.
• 제안된 벤치마킹 방법은 실험 전반에 걸쳐 측정 변동성을 감소시켜, 기존 벤치마크 세트보다 더 재현성 있고 신뢰할 수 있는 성능 비교를 가능하게 하였다.
• 윌코신 서열 검정을 통한 통계 분석은 MPI 구현 간 성능 차이에 강력한 증거를 제공하여 벤치마킹 비교의 신뢰성을 높였다.
• 새로운 시계 동기화 알고리즘은 시계 오차를 고려함으로써 기존 방법(예: Netgauge, SKaMPI)보다 더 높은 정확도를 달성하여 집합적 연산에서의 시간 오차를 감소시켰다.