[논문 리뷰] Performance Portable Solid Mechanics via Matrix-Free $p$-Multigrid

Jed Brown, Valeria Barra외 8명|arXiv (Cornell University)|2022. 04. 04.

Advanced Numerical Methods in Computational Mathematics인용 수 9

한 줄 요약

이 논문은 고차원 유한요소 고체역학에 대해 성능 이식성 있고 행렬 기반 미사용 $p$-multigrid 방법을 제안하며, 기존의 저차원 방법에 비해 최대 10배 빠른 시뮬레이션 속도와 도핑당 효율성의 수개 계급 향상을 달성한다. 매트릭스 기반 연산자, 재료 모델을 위한 자동 미분, 대수적 다중 격자(coarse solver)를 활용함으로써 정확도나 워크플로우 호환성을 희생시키지 않고도 다중 노드 CPU 및 GPU 시스템에서 강력하고 확장 가능하며 GPU 최적화된 시뮬레이션을 가능하게 한다.

ABSTRACT

Finite element analysis of solid mechanics is a foundational tool of modern engineering, with low-order finite element methods and assembled sparse matrices representing the industry standard for implicit analysis. We use performance models and numerical experiments to demonstrate that high-order methods greatly reduce the costs to reach engineering tolerances while enabling effective use of GPUs; these data structures also offer up to 2x benefit for linear elements. We demonstrate the reliability, efficiency, and scalability of matrix-free $p$-multigrid methods with algebraic multigrid coarse solvers through large deformation hyperelastic simulations of multiscale structures. We investigate accuracy, cost, and execution time on multi-node CPU and GPU systems for moderate to large models (millions to billions of degrees of freedom) using AMD MI250X (OLCF Crusher), NVIDIA A100 (NERSC Perlmutter), and V100 (LLNL Lassen and OLCF Summit), resulting in order of magnitude efficiency improvements over a broad range of model properties and scales. We discuss efficient matrix-free representation of Jacobians and demonstrate how automatic differentiation enables rapid development of nonlinear material models without impacting debuggability and workflows targeting GPUs. The methods are broadly applicable and amenable to common workflows, presented here via open source libraries that encapsulate all GPU-specific aspects and are accessible to both new and legacy code, allowing application code to be GPU-oblivious without compromising end-to-end performance on GPUs.

연구 동기 및 목표

• 유한요소 방법의 저차원 적용에서 발생하는 비효율성, 특히 도핑당 정확도가 낮고 메모리/계산 비용이 높은 문제를 해결하기 위해.
• 매트릭스 기반 프레임워크 내 고차원 유한요소가 정확도를 유지하면서도 시뮬레이션 비용을 크게 감소시킬 수 있음을 입증하기 위해.
• 현대 HPC 아키텍처(CPU 및 GPU)에서 응용 프로그램 코드가 GPU에 의존하지 않도록 성능 이식성을 확보하기 위해.
• 기존의 유한요소 솔버에 실용적이고 즉시 교체 가능한 대안을 제공하여 효율적인 데이터 구조와 조건부 해법을 통해 성능과 확장성을 향상시키기 위해.
• AMD MI250X, NVIDIA A100, V100 GPU를 포함한 다양한 하드웨어 플랫폼을 사용하여 대규모 실제 다스케일 초탄성 문제에 대해 방법을 검증하기 위해.

제안 방법

• 요소 행렬을 행렬 저장 없이 행렬-벡터 곱 과정에서 실시간으로 계산하는 매트릭스 기반 미사용 유한요소 조립을 사용하여 희소 행렬 저장이 필요 없고 메모리 대역폭 소비를 줄인다.
• 고차원 유한요소에서 체비셰프 또는 자코비 스무딩을 사용한 $p$-multigrid 조건부 해법을 적용하여 비정규 메esh와 고차원 이산화에 대해 강력한 수렴성을 확보한다.
• 대수적 다중 격자(AMG)를 조밀 격자 솔버로 사용하여 다양한 문제 유형과 메쉬 해상도에서 강력성과 확장성을 확보한다.
• 성능 또는 유지보수 비용의 손실 없이 비선형 재료 모델을 신속하게 구현하고 디버깅할 수 있도록 자동 미분을 통합한다.
• 오픈소스 라이브러리(PETSc, libCEED, hypre)를 기반으로 하여 GPU 전용 코드를 추상화하고, 고성능 엔드 투 엔드 성능을 확보하면서도 GPU에 의존하지 않는 응용 개발을 가능하게 한다.
• 기하학적 및 해의 공간에 대해 임의의 차수를 지원하며, Gmsh로 생성된 고차원 메쉬 및 시각화 도구와의 호환성도 제공한다.

실험 결과

연구 질문

• RQ1 매트릭스 기반 미사용 $p$-multigrid 방법이 고체역학 시뮬레이션에서 기존의 저차원 희소 행렬 솔버에 비해 뛰어난 성능과 확장성을 달성할 수 있는가?
• RQ2 매트릭스 기반 프레임워크 내 고차원 유한요소가 정점 불연속성 등 존재하는 조건에서도 공 ing 엔지니어링 허용 오차에 도달하는 데 소요되는 정확도와 계산 비용에 어떤 영향을 미치는가?
• RQ3 매트릭스 기반 방법이 응용 프로그램 수준의 GPU 이식이 필요 없이 현대 GPU 및 CPU 아키텍처에서 성능 이식성과 고효율을 얼마나 높일 수 있는가?
• RQ4 고차원 요소가 메모리 대역폭 포화와 산술 강도에 어떤 영향을 미치며, 매트릭스 기반 계산은 이러한 병목 현상을 어떻게 완화하는가?
• RQ5 자동 미분을 통해 고성능 컴퓨팅 환경에서 복잡한 비선형 재료 모델을 효과적으로 구현할 수 있으며, 성능 유지를 위해 유지보수성과 호환성을 확보할 수 있는가?

주요 결과

• 매트릭스 기반 미사용 $p$-multigrid 접근법은 저차원 방법 대비 도핑당 최대 10배의 시뮬레이션 효율 향상을 달성한다. 선형 요소 조건에서도 동일한 성능 향상을 기록한다.
• 대변형 초탄성 시뮬레이션에서 고차원 방법은 스트레스 정점 불연속성 존재 조건에서도 공 ing 허용 오차에 도달하는 데에 비용을 한 단계 감소시킨다.
• AMD MI250X, NVIDIA A100, V100을 포함한 다중 노드 CPU 및 GPU 시스템에서 강력한 확장성을 보이며 일관된 성능 향상을 보였다.
• 매트릭스 기반 연산자로 인해 메모리 대역폭 압박이 감소하여 고산술 강도를 확보하고 현대 하드웨어에서 10 FLOPs per byte 이상을 지속적으로 유지할 수 있었다.
• 자동 미분을 통해 비선형 재료 모델을 신속하고 정확하며 유지보수 가능한 방식으로 구현할 수 있었으며, 런타임 성능 저하 없이 GPU 실행과 완전히 호환되었다.
• 저차원 유한요소를 2차 이상의 요소로 즉시 교체할 수 있으며, 사전처리 및 I/O 비용을 줄이고 정확도와 성능을 향상시킬 수 있었다.