[논문 리뷰] A FFT-accelerated multi-block finite-difference solver for massively parallel simulations of incompressible flows

Pedro Costa|arXiv (Cornell University)|2021. 06. 07.

Computational Fluid Dynamics and Aerodynamics참고 문헌 53인용 수 13

한 줄 요약

이 논문은 압축성 유동의 대규모 병렬 직접 시뮬레이션(DNS)을 위한 오픈소스이자 FFT 가속 다중 블록 유한차분 해법인 SNaC를 제시한다. 동일한 방향에 대해 FFT 기반 고유함수 전개를 적용하여 3차원 푸아송 방정식을 다수의 2차원 헬름홀츠 문제로 감소시키고, 이를 기하학적 다중격자(GMG)로 푸름으로써, 비-FFT 접근법 대비 계산 비용을 최대 8배까지 감소시킨다. 이 방법은 다양한 경계 조건을 지원하며 초고성능(HPC) 아키텍처에서 효율적으로 스케일링된다.

ABSTRACT

We present a multi-block finite-difference solver for massively parallel Direct Numerical Simulations (DNS) of incompressible flows. The algorithm combines the versatility of a multi-block solver with the method of eigenfunctions expansions, to speedup the solution of the pressure Poisson equation. This is achieved by employing FFT-based transforms along one homogeneous direction, which effectively reduce the problem complexity at a low cost. These FFT-based expansions are implemented in a framework that unifies all valid combinations of boundary conditions for this type of method. Subsequently, a geometric multigrid solver is employed to solve the reduced Poisson equation in a multi-block geometry. Particular care was taken here, to guarantee the parallel performance of the multigrid solver when solving the reduced linear systems equations. We have validated the overall numerical algorithm and assessed its performance in a massively parallel setting. The results show that 2- to 8-fold reductions in computational cost may be easily achieved when exploiting FFT acceleration for the solution of the Poisson equation. The solver, SNaC, has been made freely available and open-source under the terms of an MIT license.

연구 동기 및 목표

• 압축성 유동을 위한 고성능 대규모 병렬 DNS 해법을 개발하여, 압력 푸아송 방정식을 푸는 데 발생하는 계산 블로킹 문제를 해결한다.
• 단순 기하형상에 국한되지 않고, 복잡한 영역과 다양한 경계 조건을 지원하는 다중 블록 프레임워크에 FFT 기반 푸아송 해법을 통합하여 이를 확장한다.
• FFT 가속과 기하학적 다중격자 해법을 조합하고 프로세서 간 작업 분배를 최적화하여 높은 병렬 성능을 확보한다.
• turbulent 유동, 이상유동, 복잡한 기하형상의 고급 시뮬레이션을 지원하는 자유로운 오픈소스이며 확장 가능한 해법(SNaC)을 제공한다.

제안 방법

• 해법은 구조적 다중 블록 격자 위에서 압축성 라우르-나비에-스토크스 방정식을 2차 유한차분/유한부피 방법으로 이산화한다.
• 한 방향(추출된 방향)에 대해 FFT 기반 고유함수 전개를 적용하여 3차원 푸아송 방정식을 독립적인 2차원 헬름홀츠 문제들로 분리한다.
• 각 축소된 2차원 문제는 기하학적 다중격자(GMG) 해법으로 풀며, 고성능 병렬화를 위해 hypre 라이브러리를 사용한다.
• 고유함수 전개에 대해 유효한 모든 경계 조건 조합(비주기적 포함)을 통합된 프레임워크를 통해 지원한다.
• 2차원 문제들 간의 비균일한 수렴 속도를 처리하고 부하 균형을 확보하기 위해 '스ライ스된 펜슬' 방식을 적용하여 병렬 효율성을 향상시킨다.
• 전체 알고리즘은 MPI를 사용한 대규모 병렬 환경에서 구현되었으며, 통신 오버헤드를 최소화하고 초규모 시스템에서 강력한 및 약한 스케일링을 보장하기 위한 최적화가 이루어졌다.

실험 결과

연구 질문

• RQ1 FFT 기반 고유함수 전개가 다중 블록 및 비주기적 기하형상에 효과적으로 확장되어 압축성 유동의 DNS에서 푸아송 해법을 가속화할 수 있는가?
• RQ2 현대 HPC 시스템에서 FFT 가속과 기하학적 다중격자 해법의 조합이 스케일링 및 계산 효율성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 다양한 수렴 속도를 가진 2차원 축소 문제들을 프로세서에 분배하기 위한 최적의 분할 전략은 무엇인가? 특히 부하 균형과 벽시계 시간 최소화 측면에서 고려된다.
• RQ4 기존 해법 대비 상당한 속도 향상(예: 2–8배)을 달성하면서도 높은 정확도를 유지하고 복잡한 경계 조건을 지원할 수 있는가?
• RQ5 특히 난이도 높은 또는 비최적의 병렬화 전략과 비교했을 때, 극한의 문제 크기와 코어 수에서 해법은 어떻게 스케일링되는가?

주요 결과

• FFT 가속 접근법은 비-FFT 방법 대비 푸아송 방정식 해법의 계산 비용을 최대 8배까지 감소시키며, 시뮬레이션에서 2배에서 8배의 속도 향상이 관찰되었다.
• Betzy 슈퍼컴퓨터에서 최대 65,536개의 코어까지 약한 스케일링과 강한 스케일링이 뛰어나게 성능을 보였으며, 그리드 포인트당 벽시계 시간이 거의 이상적인 비율로 스케일링되었다.
• FFT 가속을 통한 3차원 다중격자(3D MG w/ FFT)는 극한 스케일에서 모든 구성보다 뛰어난 성능을 보였고, 단순 2차원 다중격자 w/ FFT 접근법은 통신 및 부하 불균형으로 인해 실패하거나 성능이 열악했다.
• p ≈ 16인 슬라이스된 펜슬 방식은 작업당 부하와 수렴 불균일성 사이의 좋은 균형을 이룩하여, 작업 분포 최적화로 인해 시간 단위당 벽시계 시간을 줄였다.
• 통합된 프레임워크를 통해 고유함수 전개에 대해 다양한 경계 조건을 성공적으로 처리하여 이전의 FFT 기반 해법보다 더 넓은 적용 범위를 확보했다.
• SNaC 해법은 MIT 라이선스 하에 오픈소스로 제공되며, 라이드 드리븐 케이지와 같은 표준 유동에서 검증되어 높은 정확도와 성능를 입증했다.