[논문 리뷰] Extreme-scale Multigrid Components within PETSc

Dave A. May, Patrick Sanan외 3명|arXiv (Cornell University)|2016. 04. 25.

Advanced Numerical Methods in Computational Mathematics참고 문헌 18인용 수 5

한 줄 요약

이 논문은 초대규모 기하 다중격자 방법을 위한 스케일러블인 군집 수준의 솔버를 가능하게 하는 PETSc 내의 새로운 MPI 랭크 집약 컴пон넌트인 Telescope를 소개한다. 통신 오버헤드를 줄이기 위해 MPI 커뮤니케이터를 군집화함으로써 Telescope는 다중격자 조건부 해법에서 확장성과 성능을 향상시키며, 구조적 메esh에서의 수치 실험을 통해 강한 스케일링과 하이브리드 CPU-GPU 워크로드에서 뚜렷한 성능 향상을 보여주었다.

ABSTRACT

Elliptic partial differential equations (PDEs) frequently arise in continuum descriptions of physical processes relevant to science and engineering. Multilevel preconditioners represent a family of scalable techniques for solving discrete PDEs of this type and thus are the method of choice for high-resolution simulations. The scalability and time-to-solution of massively parallel multilevel preconditioners can be adversely effected by using a coarse-level solver with sub-optimal algorithmic complexity. To maintain scalability, agglomeration techniques applied to the coarse level have been shown to be necessary. In this work, we present a new software component introduced within the Portable Extensible Toolkit for Scientific computation (PETSc) which permits agglomeration. We provide an overview of the design and implementation of this functionality, together with several use cases highlighting the benefits of agglomeration. Lastly, we demonstrate via numerical experiments employing geometric multigrid with structured meshes, the flexibility and performance gains possible using our MPI-rank agglomeration implementation.

연구 동기 및 목표

• 하나의 알고리즘 복잡도가 최적화되지 않은 것 때문에 초대규모 다중격자 조건부 해법에서 군집 수준 솔버의 확장성에 한계가 존재하는 문제를 해결하기 위해.
• 군집 수준에서의 통신 및 계산 부하를 줄임으로써 대규모 병렬 아키텍처에서 효율적이고 확장 가능한 다중격자 성능을 가능하게 하기 위해.
• 구조적 및 비구조적 메쉬 계층을 모두 지원하는 PETSc 내의 일반적인 집약 프레임워크를 제공하기 위해.
• 프로세스 군집화를 통해 다중격자 계층을 최적화함으로써 대규모 타원형 PDE 시뮬레이션에서의 솔루션 도달 시간을 향상시키기 위해.
• 하이브리드 CPU-GPU 워크로드와 강한 스케일링 연구를 지원하기 위해 군집 수준 계산의 유연하고 균형 잡힌 분포를 가능하게 하기 위해.

제안 방법

• 군집 수준에서 MPI 프로세스 수를 줄이기 위해 커뮤니케이터 군집화(집약)를 수행하는 새로운 PETSc 컴포넌트인 Telescope를 도입한다.
• 메쉬 계층과 계산 작업량 균형을 기반으로 하향식 집약 전략을 적용하여 커뮤니케이터를 군집화한다.
• 기하 다중격자와 재디스크리티제이션된 연산자, 매트릭스 기반의 스무딩 기법을 사용하여 모든 수준에서 효율성을 유지한다.
• DMDA(Distributed Mesh and Data Assembly) 객체의 재분할을 지원하며, 향후 비구조적 메쉬를 위한 DMPlex로의 확장 가능성을 고려한다.
• 설정 단계 동안 일시적인 행렬을 사용하여 순서 조정 및 재분배를 수행하며, 향후 작업으로 메모리 감소를 목표로 한다.
• MPI 커뮤니케이터를 재정의하여 계층적 커뮤니케이터 관리를 가능하게 하는 새로운 DM 인터페이스 확장인 DMRefinePartition을 제안한다.

실험 결과

연구 질문

• RQ1 초대규모 다중격자에서 군집 수준 솔버 성능을 향상시키기 위해 알고리즘 확장성 유지에 어떻게 기여할 수 있는가?
• RQ2 MPI 랭크 집약이 기하 다중격자 조건부 해법에서 솔루션 도달 시간과 통신 오버헤드에 어떤 영향을 미치는가?
• RQ3 집약 기법을 PETSc 내에서 구조적 및 비구조적 메쉬 계층 모두를 지원하도록 일반화할 수 있는가?
• RQ4 집약 기법이 하이브리드 CPU-GPU 다중격자 워크플로우에서 부하 균형과 성능에 어떤 영향을 미치는가?
• RQ5 하드웨어 및 행렬 특성에 기반하여 최적의 집약 선택을 안내할 수 있는 성능 모델은 무엇인가?

주요 결과

• Telescope는 MPI 커뮤니케이터 군집화를 통해 군집 수준에서의 통신 및 계산 부하를 줄임으로써 스케일러블한 군집 수준 솔버를 가능하게 한다.
• 구조적 메쉬와 기하 다중격자에서의 수치 실험 결과, 강한 스케일링 연구에서 뚜렷한 성능 향상을 보였다.
• 집약 기법은 CPU와 GPU를 조합한 하이브리드 스무딩 기법을 지원하여 이질적 환경에서 솔루션 도달 시간을 향상시킨다.
• 심지어 초대규모 문제 크기에서도 알고리즘적 확장성과 타원형 PDE에 대해 최적의 O(n) 솔루션 도달 시간을 유지한다.
• Telescope의 설계는 향후 DMPlex 및 PETSc 내의 다른 DM 실현 방식으로의 확장에도 일반적으로 적용 가능하다.
• 네트워크 지연, 메모리 액세스 및 행렬 구조를 기반으로 한 최적의 집약 선택을 위한 성능 모델은 향후 핵심 방향으로 규명되었다.