[논문 리뷰] In-Situ Assessment of Device-Side Compute Work for Dynamic Load Balancing in a GPU-Accelerated PIC Code

Michael Rowan, Axel Huebl외 5명|arXiv (Cornell University)|2021. 04. 23.

Advanced Data Storage Technologies참고 문헌 22인용 수 3

한 줄 요약

이 논문은 GPU 클럭 타이머를 사용하여 장치 측에서 계산 작업을 실시간으로 저비용으로 측정하는 방법을 도입함으로써, WarpX 입자-장 코드에 대한 GPU 최적화된 인-사이트 동적 로드 밸런싱을 제안한다. 이 방법은 6144개의 GPU에서 이론적 최대 속도 향상의 62–74%를 달성하며(6개 GPU에서는 88%), 정적 로드 밸런싱과 기본적인 불균형 실행을 크게 능가한다. 레이저-이온 가속 시뮬레이션에서 로드 밸런싱이 없는 경우 대비 3.8배의 속도 향상을 기록한다.

ABSTRACT

Maintaining computational load balance is important to the performant behavior of codes which operate under a distributed computing model. This is especially true for GPU architectures, which can suffer from memory oversubscription if improperly load balanced. We present enhancements to traditional load balancing approaches and explicitly target GPU architectures, exploring the resulting performance. A key component of our enhancements is the introduction of several GPU-amenable strategies for assessing compute work. These strategies are implemented and benchmarked to find the most optimal data collection methodology for in-situ assessment of GPU compute work. For the fully kinetic particle-in-cell code WarpX, which supports MPI+CUDA parallelism, we investigate the performance of the improved dynamic load balancing via a strong scaling-based performance model and show that, for a laser-ion acceleration test problem run with up to 6144 GPUs on Summit, the enhanced dynamic load balancing achieves from 62%--74% (88% when running on 6 GPUs) of the theoretically predicted maximum speedup; for the 96-GPU case, we find that dynamic load balancing improves performance relative to baselines without load balancing (3.8x speedup) and with static load balancing (1.2x speedup). Our results provide important insights into dynamic load balancing and performance assessment, and are particularly relevant in the context of distributed memory applications ran on GPUs.

연구 동기 및 목표

• 극도로 이동성이 높은 입자로 인해 발생하는 로드 불균형으로 인한 분산 메모리 기반 GPU 가속 입자-장 코드의 성능 저하 문제 해결.
• 최소한의 성능 오버헤드로 런타임에 실시간으로 GPU에서의 계산 작업을 측정할 수 있는 GPU 전용 인-사이트 기법 개발.
• 대규모 GPU 클러스터에서 강한 스케일링 및 약한 스케일링 성능을 향상시키기 위해 WarpX의 동적 로드 밸런싱 향상.
• 비용 평가 전략(경험적 규칙, GPU 클럭, CUPTI)의 차이가 로드 밸런싱 효율성과 성능에 미치는 영향 평가.
• 실제 플라즈마 물리 시뮬레이션에서 제한된 GPU 메모리 자원을 효율적으로 사용하기 위해 동적 로드 밸런싱이 필수적임을 입증.

제안 방법

• 하위 영역의 계산 작업에 대한 실제 커널 실행 시간을 측정하기 위해 인-사이트, 인-커널 GPU 클럭 타이밍을 구현하여 오버헤드 최소화.
• CUPTI와 같은 프로파일링 API가 아닌 GPU 하드웨어 클럭을 사용한 벤더 독립적 런타임 측정 전략 도입.
• AMReX 블록 구조 메쉬 프레임워크를 활용해 측정된 계산 비용을 동적 로드 밸런싱 프레임워크에 통합.
• 측정된 계산 비용을 바탕으로 GPU 간 작업을 재분배하기 위해 나이프색 및 공간 채우는 곡선(SFC)과 같은 로드 밸런싱 전략 적용.
• 강한 스케일링 성능 모델링을 통해 이론적 최대 속도 향상 예측하고 관측된 성능 향상과 비교.
• 입자 수, GPU당 박스 크기, 로드 밸런싱 빈도, 비용 함수 선택 등 다양한 구성에서 성능 벤치마크 수행.

실험 결과

연구 질문

• RQ1 CUPTI 기반 타이밍과 비교해 GPU 클럭 기반 인-사이트 계산 작업 측정의 정확성과 성능 오버헤드는 어떻게 되는가?
• RQ2 경험적 규칙 대비 실제 커널 타이밍을 사용한 비용 할당 전략의 차이가 WarpX의 동적 로드 밸런싱 성능에 어떤 영향을 미치는가?
• RQ3 동적 로드 밸런싱은 GPU 가속 입자-장 시뮬레이션에서 강한 스케일링 및 약한 스케일링 성능을 얼마나 향상시키는가?
• RQ4 로드 밸런싱 알고리즘 선택(SFC 대 나이프색)이 성능과 로드 밸런싱 효율성에 어떤 영향을 미치는가?
• RQ5 대규모 GPU 시뮬레이션에서 이론적 최대 속도 향상에 가까운 성능을 달성하기 위해 로드 불균형을 어느 정도 줄여야 하는가?

주요 결과

• 실제로 GPU 클럭 기반 인-사이트 측정은 로드 밸런싱 오버헤드가 거의 없이 구현되며, CUPTI 기반 접근 방식과 달리 상당한 런타임 비용을 유발한다.
• Summit에서 6144개 GPU를 사용한 레이저-이온 가속 시험 케이스에서, 동적 로드 밸런싱은 이론적으로 예측된 최대 속도 향상의 62–74%를 달성했으며, 6개 GPU에서는 88%의 효율성을 기록했다.
• 기본적인 로드 밸런싱 없음 상태 대비 3.8배의 속도 향상을 기록했고, 96개 GPU 케이스에서는 정적 로드 밸런싱 대비 1.2배의 성능 향상을 기록했다.
• 강한 스케일링 성능 모델은 로드 불균형이 주요 성능 저하 요인임을 확인했으며, 대규모에서 고효율 달성을 위해 동적 로드 밸런싱이 필수적임을 입증했다.
• 대규모 시뮬레이션에서 분산된 로컬 제한된 GPU 메모리를 생산적으로 사용하기 위해 동적 로드 밸런싱은 사실상 필수적이다.
• 결과적으로 통신 비용을 로드 밸런싱 루틴에 통합하면 관측된 성능과 이론적 성능 한계 사이의 격차를 더욱 좁힐 수 있을 것으로 제안된다.