[논문 리뷰] A Solver for Massively Parallel Direct Numerical Simulation of Three-Dimensional Multiphase Flows

Seungwon Shin, Jalel Chergui외 1명|arXiv (Cornell University)|2014. 10. 30.

Fluid Dynamics and Heat Transfer참고 문헌 37인용 수 5

한 줄 요약

이 논문은 MPI를 통한 도메인 분할을 사용하는 하이브리드 프론트 트래킹/레벨 세트 방법(LCRM)을 활용하여 다상류 유동을 위한 대규모 병렬, 완전 3차원 직접 수치 해석 솔버를 제시한다. 이 솔버는 최대 65,536개의 스레드에서 높은 확장성을 확보하며, 1024³ 해상도에서 방울이 튀기, 코로나 형성, 리姆 불안정성과 같은 복잡한 인터페이스 역학을 정확히 해석한다. 강성 있는 유체 시스템에서 물성의 불연속성을 고려한 병렬 GMRES 및 다중 격자 반복 해법을 통해 뛰어난 성능을 보이며, 강성 있는 물성 대비 높은 정확도를 확보한다.

ABSTRACT

We present a new solver for massively parallel simulations of fully three-dimensional multiphase flows. The solver runs on a variety of computer architectures from laptops to supercomputers and on 65536 threads or more (limited only by the availability to us of more threads). The code is wholly written by the authors in Fortran 2003 and uses a domain decomposition strategy for parallelization with MPI. The fluid interface solver is based on a parallel implementation of the LCRM hybrid Front Tracking/Level Set method designed to handle highly deforming interfaces with complex topology changes. We discuss the implementation of this interface method and its particular suitability to distributed processing where all operations are carried out locally on distributed subdomains. We have developed parallel GMRES and Multigrid iterative solvers suited to the linear systems arising from the implicit solution of the fluid velocities and pressure in the presence of strong density and viscosity discontinuities across fluid phases. Particular attention is drawn to the details and performance of the parallel Multigrid solver. The code includes modules for flow interaction with immersed solid objects, contact line dynamics, species and thermal transport with phase change. Here, however, we focus on the simulation of the canonical problem of drop splash onto a liquid film and report on the parallel performance of the code on varying numbers of threads. The 3D simulations were run on mesh resolutions up to $1024^3$ with results at the higher resolutions showing the fine details and features of droplet ejection, crown formation and rim instability observed under similar experimental conditions. Keywords:

연구 동기 및 목표

• 복잡한 변형이 큰 인터페이스를 가진 다상류의 대규모 완전 3차원 직접 수치 시뮬레이션을 가능하게 하기 위해.
• 노트북에서 엑사스케일 시스템까지 다양한 아키텍처에서 효율적으로 실행 가능한 확장성 있고 이식 가능한 솔버를 개발하기 위해.
• 위상 변화, 접선, 상변화와 같은 인터페이스 역학을 고정밀도로 정확하게 시뮬레이션하기 위해.
• 유체 상 간에 밀도 및 점도 대비가 뚜렷한 강성 있는 유체 시스템을 해결하는 계산적 과제를 해결하기 위해.

제안 방법

• 3차원에서 복잡하고 위상이 변화하는 유체 인터페이스를 추적하기 위한 병렬 하이브리드 프론트 트래킹/레벨 세트 방법(LCRM)의 구현.
• 수천 개의 스레드에 걸쳐 계산 작업을 효율적으로 분배하고 부하 균형을 맞추기 위해 MPI를 통한 도메인 분할 사용.
• 불연속적인 물성 특성을 가진 라우프-뉴턴 방정식의 암시적 시간 적분에서 발생하는 선형 시스템을 해결하기 위해 특화된 병렬 GMRES 및 다중 격자 반복 해법 개발.
• 분산 메모리 시스템에서 통신 오버헤드를 최소화하고 데이터 국소성을 확보하기 위해 서브도메인에서 국소 연산을 통합.
• 침습된 고체 물체, 접선 역학, 상변화가 수반되는 물질/열 전송 모듈을 통합.
• 세밀한 인터페이스 현상을 정확하고 안정적으로 해석하기 위해 적응형 메쉬 정밀도 및 암시적 시간 적분 기법을 사용.

실험 결과

연구 질문

• RQ1 복잡한 인터페이스 위상 변화를 포함한 3차원 다상류를 효율적으로 시뮬레이션할 수 있는 대규모 병렬 솔버는 어떻게 설계할 수 있는가?
• RQ2 최대 65,536개 스레드에서 대규모 분산 시스템에서 이 솔버의 확장성과 성능은 어떠한가?
• RQ3 실험에서 관측된 드롭 이젝션, 코로나 형성, 리姆 불안정성과 같은 세밀한 특징을 솔버는 얼마나 정확하게 해석할 수 있는가?
• RQ4 강한 밀도 및 점도 대비로 인해 발생하는 강성 문제를 다루기 위해 병렬 다중 격자 및 GMRES 해법은 얼마나 효과적인가?
• RQ5 완전 암시적, 단일 구조 접근법을 사용할 경우, 복잡한 인터페이스 역학을 얼마나 높은 해상도와 정확도로 시뮬레이션할 수 있는가?

주요 결과

• 솔버는 최대 65,536개 스레드에서 안정적이고 확장 가능한 성능을 보였으며, 하드웨어 가용성 외에는 제한 없이 작동하였다.
• 1024³ 해상도에서의 시뮬레이션은 실험적으로 관측된 드롭 이젝션, 코로나 형성, 리姆 불안정성과 같은 특징을 성공적으로 포착하였다.
• 강한 물성 불연속성 조건에서도 암시적 시간 적분에서 발생하는 선형 시스템을 해결하는 데 있어 병렬 다중 격자 해법이 매우 높은 효율성을 보였다.
• 하이브리드 LCRM 방법은 파손 및 재접합을 포함한 복잡한 인터페이스 위상 변화를 고정밀도로 효과적으로 처리하였다.
• 코드는 랩톱에서 리더십 수준의 슈퍼컴퓨터에 이르기까지 다양한 아키텍처에서 뛰어난 이식성과 성능을 보였다.
• 접선 역학 및 상변화 모듈의 통합을 통해 이상화된 흐름을 넘어서 더 현실적인 물리적 시나리오를 시뮬레이션할 수 있게 되었다.