[논문 리뷰] Toward Performance-Portable PETSc for GPU-based Exascale Systems

Richard T. Mills, Mark F. Adams외 12명|arXiv (Cornell University)|2020. 11. 02.

Parallel Computing and Optimization Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 PETSc를 위한 성능-포ortable GPU 프로그래밍 모델을 제안하며, 다양한 GPU 프로그래밍 모델(CUDA, Kokkos, HIP, SYCL 등)을 손실 없이 성능과 이식성의 균형을 유지한 채로 활용할 수 있도록 한다. 응용 프로그램의 프로그래밍 모델을 PETSc의 내부 백엔드와 분리함으로써, 현재의 GPU 시스템에서 높은 성능을 달성하고, 엑사스케일 컴퓨팅 시대에 걸맞은 원활한 상호운용성과 최소한의 데이터 이동을 보장한다.

ABSTRACT

The Portable Extensible Toolkit for Scientific computation (PETSc) library delivers scalable solvers for nonlinear time-dependent differential and algebraic equations and for numerical optimization.The PETSc design for performance portability addresses fundamental GPU accelerator challenges and stresses flexibility and extensibility by separating the programming model used by the application from that used by the library, and it enables application developers to use their preferred programming model, such as Kokkos, RAJA, SYCL, HIP, CUDA, or OpenCL, on upcoming exascale systems. A blueprint for using GPUs from PETSc-based codes is provided, and case studies emphasize the flexibility and high performance achieved on current GPU-based systems.

연구 동기 및 목표

• 다양한 프로그래밍 모델에서 GPU 기반 엑사스케일 시스템에서 PETSc의 성능-포터블성을 실현하기 위해.
• 메모리 대역폭 제약과 이질적인 하드웨어 등 GPU 라이브러리 개발의 근본적 과제를 극복하기 위해.
• 응용 프로그램 개발자가 선호하는 GPU 프로그래밍 모델(Kokkos, RAJA, SYCL 등)을 사용하면서도 PETSc의 확장 가능한 해법기 및 시간적분 기능을 활용할 수 있도록 하기 위해.
• 실제 PDE 및 플라즈마 물리학 해법기에서의 사례 연구를 통해 높은 성능과 유연성을 입증하기 위해.
• 성능 손실 최소화와 데이터 중복 없이 PETSc 기반 응용 프로그램에 GPU 가속을 통합하기 위한 청사진 제공하기 위해.

제안 방법

• 응용 프로그램의 프로그래밍 모델을 PETSc의 내부 백엔드 프로그래밍 모델에서 분리하여 GPU 모델을 별도로 선택할 수 있도록 하기 위해.
• 데이터 복사를 방지하고 성능을 유지하며 런타임 오버헤드를 피하기 위해 응용 프로그램과 PETSc의 프로그래밍 모델 간 데이터 공유를 구현하기 위해.
• CUDA, Kokkos, HIP, SYCL 등의 여러 백엔드를 사용하여 GPU 커널을 구현하면서도, 최적화된 벤더 라이브러리(cuBLAS, cuSPARSE, rocBLAS 등)와 인터페이스하기 위해.
• 전적으로 GPU에서 실행되는 계층적이고 조합 가능한 해법기 및 시간적분 루틴을 사용하여 암시적 시간 스텝 및 수반 방법을 지원하기 위해.
• 적응형 메시 구조(p4est)와 데이터-병렬 추상화(Kokkos parallel_for, RAJA, DPC++)를 활용하여 이식 가능하고 고성능 커널을 표현하기 위해.
• 메모리 액세스 패턴과 커널 실행을 최적화하여 고대역폭 활용도를 유지하고 지연을 최소화하기 위해.

실험 결과

연구 질문

• RQ1 엑사스케일 시스템에서 다양한 GPU 프로그래밍 모델(CUDA, Kokkos, HIP, SYCL 등) 간 성능-포터블성을 PETSc가 어떻게 달성할 수 있는가?
• RQ2 응용 프로그램 수준의 프로그래밍 모델을 PETSc의 내부 GPU 커널에서 분리함으로써 고성능을 달성할 수 있는 아키텍처 설계 패턴은 무엇인가?
• RQ3 PETSc의 백엔드 지원이 현재의 GPU 시스템에서 유연성 손실 없이 높은 성능을 달성할 수 있는 정도는 어느 정도이며, 응용 프로그램 수준의 재작성 없이도 가능한가?
• RQ4 다른 프로그래밍 모델(CUDA 대비 Kokkos 등)이 PETSc의 GPU 백엔드에서 커널 성능과 유지보수성에 어떤 영향을 미치는가?
• RQ5 GPU 가속 PETSc 해법기에서의 주요 성능 저하 요인은 무엇이며, 커널 및 데이터 구조 설계를 통해 어떻게 이를 완화할 수 있는가?

주요 결과

• PETSc의 백엔드 GPU 지원은 현재 시스템에서 높은 성능을 달성하며, 해법기 및 행렬 조립 시간이 다양한 GPU 프로그래밍 모델에서 효율적으로 스케일링된다.
• CUDA 및 Kokkos로 구현된 Landau 충돌 연산자 커널은 종류 수에 따라 선형 스케일링을 보이며, 이는 계산 제약보다는 메모리 제약에 기인한 행동임을 시사한다.
• Kokkos 버전의 Landau 커널은 가변 길이 배열과 병렬 감소 연산의 추상화 오버헤드로 인해 CUDA 대비 略로우며, 코드 유지보수성 측면에서 유리하다.
• 프로그래밍 모델 간 데이터 공유를 통해 비용이 많이 드는 데이터 복사를 방지하여, 응용 프로그램 코드(Kokkos 등)와 PETSc의 GPU 커널(CUDA 등) 간 원활한 상호운용성을 실현한다.
• 혼합 모델 실행을 지원하여 응용 프로그램이 하나의 워크플로우에서 여러 프로그래밍 모델(예: OpenMP 오프로드와 HIP, 또는 Kokkos와 CUDA)을 함께 사용할 수 있도록 한다.
• 이 설계는 대수적 해법기의 완전한 GPU 실행을 가능하게 하며, 향후 GPU 내에서의 행렬 조립 기능 개발을 지원하여 PDE 시뮬레이션의 완전한 GPU 가속화를 향한 핵심 단계를 밟는다.