[논문 리뷰] Efficient distributed matrix-free multigrid methods on locally refined meshes for FEM computations

Peter Münch, Heister, Timo외 2명|arXiv (Cornell University)|2022. 03. 23.

Advanced Numerical Methods in Computational Mathematics인용 수 4

한 줄 요약

이 논문은 지역으로 메esh가 세분화된 메쉬에서 유한요소 계산을 위한 행렬을 사용하지 않는 다수의 다중 격자 방법—기하학적 국소 스무딩, 기하학적 전역 저해상도, 다항식 전역 저해상도—을 제시하고 비교한다. 전역 저해상도 방법은 더 나은 로드 밸런싱 덕분에 더 뛰어난 병렬 확장성을 보이며, 국소 스무딩은 약간 더 높은 반복 횟수에도 불구하고 더 낮은 제약 조건 적용 비용 덕분에 순차 계산에서 더 우수한 성능을 보인다.

ABSTRACT

This work studies three multigrid variants for matrix-free finite-element computations on locally refined meshes: geometric local smoothing, geometric global coarsening, and polynomial global coarsening. We have integrated the algorithms into the same framework-the open-source finite-element library deal.II-, which allows us to make fair comparisons regarding their implementation complexity, computational efficiency, and parallel scalability as well as to compare the measurements with theoretically derived performance models. Serial simulations and parallel weak and strong scaling on up to 147,456 CPU cores on 3,072 compute nodes are presented. The results obtained indicate that global coarsening algorithms show a better parallel behavior for comparable smoothers due to the better load balance particularly on the expensive fine levels. In the serial case, the costs of applying hanging-node constraints might be significant, leading to advantages of local smoothing, even though the number of solver iterations needed is slightly higher.

연구 동기 및 목표

• 지역으로 메쉬가 세분화된 메쉬에서 행렬을 사용하지 않는 유한요소 방법에 대해 기하학적 국소 스무딩, 기하학적 전역 저해상도, 다항식 전역 저해상도의 세 가지 다중 격자 변형을 평가하고 비교하는 것.
• 이들 방법의 구현 복잡도, 계산 효율성, 병렬 확장성을 통합된 프레임워크 내에서 평가하는 것.
• 행렬을 사용하지 않는 FEM과 허니컴 노드 제약 조건을 고려할 때 국소 및 전역 저해상도 전략 간의 성능 상충 관계를 분석하는 것.
• 147,456개의 CPU 코어까지의 대규모 순차 및 병렬 시뮬레이션을 통해 이론적 성능 모델과의 일치 여부를 검증하는 것.
• 더 널리 쓰이고 재현 가능한 결과를 도출하기 위해 deal.II 유한요소 라이브러리 내에서 오픈소스로 생산 수준의 구현을 제공하는 것.

제안 방법

• 세 가지 다중 격자 변형을 동일한 오픈소스 유한요소 라이브러리(deal.II) 내에 구현하여 공정하고 직접적인 비교를 가능하게 하는 것.
• 노드 수준 성능를 극대화하고 병렬 환경에서의 통신 비용을 강조하기 위해 행렬을 사용하지 않는 연산자 평가를 사용하는 것.
• 국소 스무딩(가장 해상도가 높은 수준에서만 스무딩 수행)과 전역 저해상도(모든 수준에서 저해상도 수행)를 포함한 기하학적 다중 격자, 그리고 다항식 다중 격자를 통해 전역 저해상도를 구현하는 것(다항식 차수를 낮춘 방식으로).
• 비일치하는 메쉬 세분화 수준 간의 연속성을 유지하기 위해 허니컴 노드 제약 조건을 적용하며, 이들의 계산 비용에 특별한 주의를 기울이는 것.
• 최대 147,456개의 CPU 코어(3,072개의 컴퓨팅 노드)에서 순차 시뮬레이션과 병렬 약한 및 강한 확장성 테스트를 수행하는 것.
• 해법 반복 수, 해를 구하는 데 소요되는 시간, 단일 반복 성능을 측정하여 효율성과 확장성 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 지역으로 메쉬가 세분화된 메쉬에서 기하학적 국소 스무딩, 기하학적 전역 저해상도, 다항식 전역 저해상도 방법은 병렬 확장성과 로드 밸런싱 측면에서 어떻게 비교될 수 있는가?
• RQ2 허니컴 노드 제약 조건 적용이 순차 성능에 어떤 영향을 미치며, 이는 국소 스무딩을 전역 스무딩보다 유리하게 작용하는가?
• RQ3 행렬을 사용하지 않는 연산자를 사용할 경우 세 가지 다중 격자 변형은 계산 효율성과 반복 횟수 측면에서 어떻게 성능을 내는가?
• RQ4 대규모 병렬 시뮬레이션에서 이론적 성능 모델과 실측 측정치 간의 일치 정도는 어느 정도인가?
• RQ5 전체적으로는 제약 조건 비용이 더 높지만 전역 저해상도 방법이 국소 스무딩보다 더 뛰어난 병렬 효율성을 달성할 수 있는가?

주요 결과

• 전역 저해상도 방법은 특히 비용이 많이 드는 높은 해상도 수준에서 더 나은 로드 밸런싱 덕분에 더 뛰어난 병렬 확장성을 보이며, 대규모 병렬 실행에서 국소 스무딩을 능가한다.
• 순차 계산에서는 국소 스무딩이 허니컴 노드 제약 조건 적용 비용이 낮아 약간 더 많은 반복 횟수에도 불구하고 더 낮은 시간-해결 성능(낮은 해를 구하는 데 소요되는 시간)을 기록한다.
• p = 4이고 L = 10일 때, 전역 저해상도 방법은 768개 프로세스(16개 노드)에서 시간-해결 성능 3.4e-1초를 달성했고, 국소 스무딩은 3.0e-1초를 기록하여 국소 스무딩이 순차적으로 약간의 측정 가능한 이점을 확보했다.
• 24,576개 프로세스(512개 노드)에서 전역 저해상도 방법은 허니컴 노드 근처의 셀 무게 요인 변화에 관계없이 안정적인 성능을 유지했으며, p = 4이고 L = 10일 때 시간-해결 성능 약 1.0e-1초를 기록했다.
• 다항식 전역 저해상도 방법은 기하학적 전역 저해상도 방법과 유사한 성능을 보였으며, 특히 코어 수가 많아질수록 국소 스무딩을 능가하는 병렬 확장성에서 뛰어난 성능을 보였다.
• p-다중 격자에서의 AMG를 조건부 해법으로 사용할 경우 반복 횟수가 매우 많고 해를 구하는 데 오랜 시간이 소요되어, 이 설정에서는 제안된 다중 격자 변형보다 효율성이 떨어졌다.