[논문 리뷰] A modular massively parallel computing environment for three-dimensional multiresolution simulations of compressible flows

Nils Hoppe, Stefan Adami외 1명|arXiv (Cornell University)|2020. 12. 08.

Computational Fluid Dynamics and Aerodynamics참고 문헌 45인용 수 4

한 줄 요약

이 논문은 유한체적 방법과 가중 비선형 재구성 기법을 사용한 3D 압축성 유동 시뮬레이션을 위한 모듈식, 대량 병렬 처리, 블록 기반 다중 해상도(MR) 프레임워크를 제시한다. 이론적으로 수정된 Morton 순서를 활용한 이웃 간 통신과 MPI 기반 도메인 분할을 통해 효율적인 로드 밸런싱과 높은 확장성을 달성하였으며, 강한 및 약한 확장성 성능을 보이며 O(10³) 코어에서 10억 개 이상의 셀을 초월하는 효과적 해상도를 달성하였다.

ABSTRACT

Numerical investigation of compressible flows faces two main challenges. In order to accurately describe the flow characteristics, high-resolution nonlinear numerical schemes are needed to capture discontinuities and resolve wide convective, acoustic and interfacial scale ranges. The simulation of realistic 3D problems with state-of-the-art FVM based on approximate Riemann solvers with weighted nonlinear reconstruction schemes requires the usage of HPC architectures. Efficient compression algorithms reduce computational and memory load. Fully adaptive MR algorithms with LTS have proven their potential for such applications. While modern CPU require multiple levels of parallelism to achieve peak performance, the fine grained MR mesh adaptivity results in challenging compute/communication patterns. Moreover, LTS incur for strong data dependencies which challenge a parallelization strategy. We address these challenges with a block-based MR algorithm, where arbitrary cuts in the underlying octree are possible. This allows for a parallelization on distributed-memory machines via the MPI. We obtain neighbor relations by a simple bit-logic in a modified Morton Order. The block-based concept allows for a modular setup of the source code framework in which the building blocks of the algorithm, such as the choice of the Riemann solver or the reconstruction stencil, are interchangeable without loss of parallel performance. We present the capabilities of the modular framework with a range of test cases and scaling analysis with effective resolutions beyond one billion cells using $\mathcal{O}(10^3)$ cores.

연구 동기 및 목표

• 적응 메쉬 정밀도를 사용한 고해상도 3D 압축성 유동 시뮬레이션의 계산 및 메모리 과제를 해결하기 위해.
• 다양한 수치적 방법과 유체 모델을 지원하는 확장성 있고 모듈식이며 이식 가능한 HPC 프레임워크를 개발하기 위해.
• 분산 메모리 시스템에서 세밀한 메쉬 적응성과 국소 시간 스텝(LTS)의 성능 저하 요인을 극복하기 위해.
• 현대 HPC 아키텍처에서 고차 정확도와 보존 성질을 갖춘 효율적인 다중 해상도 시뮬레이션을 가능하게 하기 위해.

제안 방법

• MPI를 통한 효율적 도메인 분할을 가능하게 하는 임의의 옥트리 자르기로 구현된 블록 기반 다중 해상도 알고리즘을 사용한다.
• 명시적 검색 표를 사용하지 않고 비트 논리 연산을 통해 수정된 Morton 순서를 활용해 이웃 관계를 계산한다.
• 레벨 단위의 공간 채우는 곡선(SFC) 기반 로드 밸런싱을 도입하여 프로세서 간 작업을 균일하게 분배한다.
• 성능 손실 없이도 교환 가능한 수치 커널(예: 리만 해법, 재구성 스텐실)을 지원하는 모듈식 C++ 프레임워크를 활용한다.
• 저운동 영역에서 계산 비용을 줄이기 위해 적응형 국소 시간 스텝(ADTS)을 구현한다.
• 절단 오차 기반으로 동적으로 메쉬를 정밀화하는 웨이블릿 기반 압축을 사용하여 필요로 하는 곳에만 해상도를 집중한다.

실험 결과

연구 질문

• RQ1 복잡한 통신 패턴을 가진 분산 메모리 HPC 시스템에서 다중 해상도 프레임워크를 어떻게 효율적으로 병렬화할 수 있는가?
• RQ2 수정된 Morton 순서를 사용한 블록 기반 다중 해상도가 세포 기반 접근 방식과 비교해 성능 및 확장성 유지 정도는 어느 정도인가?
• RQ3 모듈식 설계가 성능 저하 없이 다양한 고차 수치적 방법을 지원할 수 있는가?
• RQ4 대규모 3D 압축성 유동 문제에 대해 수천 개의 코어에서 약한 및 강한 확장성 측면에서 이 프레임워크는 어떻게 확장되는가?
• RQ5 적응형 국소 시간 스텝과 블록 기반 정밀화를 통해 얻을 수 있는 메쉬 압축 비율과 계산 효율성은 어느 정도인가?

주요 결과

• 강한 및 약한 확장성 성능이 1,680 코어까지 양호한 병렬 효율성으로 유지되어 대규모 HPC 시스템에서 높은 성능을 입증하였다.
• 10억 개 이상의 효과적 해상도를 달성하여 복잡한 압축성 유동의 고정밀도 3D 시뮬레이션을 가능하게 하였다.
• 세포 기반 MR 방법과 유사한 메쉬 압축 비율을 확보하여 블록 기반 접근의 효과성을 확인하였다.
• 모듈식 설계 덕분에 다양한 리만 해법과 재구성 스텐실을 성능 저하 없이 원활하게 통합할 수 있었다.
• 수정된 Morton 순서를 사용함으로써 비트 논리 연산을 통한 빠른 이웃 통신이 가능해져 런타임 오버헤드를 감소시켰다.
• 프레임워크는 오픈소스이며 프로덕션 수준이며, 충격 튜브, 소용리 상호작용, 난류 흐름을 포함한 여러 테스트 케이스에서 검증된 성능을 보였다.