[논문 리뷰] A quantitative performance analysis for Stokes solvers at the extreme scale

Björn Gmeiner, Markus Huber외 3명|arXiv (Cornell University)|2015. 11. 06.

Advanced Numerical Methods in Computational Mathematics참고 문헌 19인용 수 3

한 줄 요약

이 논문은 초고성능 아키텍처에서 저순위의 테트라헤드론 유한요소를 사용한 스토크스 시스템에 대한 세 가지 병렬 반복 해법의 체계적 성능 분석을 제시한다. 유자와 유형의 다층구조 다중격자 해법이 가장 뛰어난 성능을 보이며, 786,432개의 스레드에서 1.1×10¹³개의 자유도를 가진 시스템을 13분 이내에 해소하여, 행렬 기반 구현을 피하고 병렬 교과서 다중격자 효율성 지표를 통해 뛰어난 확장성과 메모리 효율성을 입증한다.

ABSTRACT

This article presents a systematic quantitative performance analysis for large finite element computations on extreme scale computing systems. Three parallel iterative solvers for the Stokes system, discretized by low order tetrahedral elements, are compared with respect to their numerical efficiency and their scalability running on up to $786\,432$ parallel threads. A genuine multigrid method for the saddle point system using an Uzawa-type smoother provides the best overall performance with respect to memory consumption and time-to-solution. The largest system solved on a Blue Gene/Q system has more than ten trillion ($1.1 \cdot 10 ^{13}$) unknowns and requires about 13 minutes compute time. Despite the matrix free and highly optimized implementation, the memory requirement for the solution vector and the auxiliary vectors is about 200 TByte. Brandt's notion of "textbook multigrid efficiency" is employed to study the algorithmic performance of iterative solvers. A recent extension of this paradigm to "parallel textbook multigrid efficiency" makes it possible to assess also the efficiency of parallel iterative solvers for a given hardware architecture in absolute terms. The efficiency of the method is demonstrated for simulating incompressible fluid flow in a pipe filled with spherical obstacles.

연구 동기 및 목표

• 초고성능 시스템에서 스토크스 시스템에 대한 세 가지 병렬 반복 해법의 수치적 효율성과 확장성 평가
• 대규모 유한요소 문제에서 시간-해결 및 메모리 소비 측면에서 가장 효율적인 해법 식별
• 교과서 다중격자 효율 개념을 병렬 아키텍처로 확장하여 절대적 성능 평가 수행
• 현대 슈퍼컴퓨터에서 최대 10¹³개의 자유도를 가진 스토크스 문제 해결 가능성 입증
• 다양한 경계 조건과 메esh 구성에서 해법의 강건성 검증

제안 방법

• 유한요소의 유연성과 기하 다층구조 다중격자 효율성을 결합하기 위해 계층적 하이브리드 격자(HHG) 프레임워크를 사용한다.
• 세 가지 해법을 비교한다: (i) 근사 슈어-컴플리먼트 CG, (ii) 다층구조 다중격자 전처리 MINRES, (iii) 유자 유형 스무딩을 적용한 진정한 동시에 전체 다층구조 다중격자 방법.
• 유자 다층구조 다중격자 방법은 행렬 기반 구현을 사용하며, 스텝-포인트 시스템을 위한 유자 반복 기반 스무딩을 적용한다.
• 성능는 브랜트의 교과서 다층구조 다중격자 효율성과 병렬 교과서 다층구조 다중격자 효율성으로의 확장을 통해 절대적 하드웨어 평가를 위해 정량화된다.
• 시뮬레이션은 최대 786,432개의 병렬 스레드를 사용한 블루지엔/큐 시스템에서 수행되었으며, 10¹³개 이상의 자유도를 가진 시스템을 해소하였다.
• 경계 조건은 노드 기반 함수에 기반한 질량 보존 정의의 법선 벡터를 사용한 점별 접선 응력 조건을 통해 구현되었다.

실험 결과

연구 질문

• RQ1 스토크스 시스템에 대한 세 가지 반복 해법 중에서 스chu어-컴플리먼트 CG, 다층구조 다중격자 전처리 MINRES, 유자 다층구조 다중격자 중에서 초고성능에서 가장 뛰어난 시간-해결 및 메모리 효율성을 보이는 것은 무엇인가?
• RQ2 병렬 교과서 다층구조 다중격자 효율 개념은 동시에 전체 다층구조 다중격자 해법으로 어떻게 확장되며, 하드웨어 인식 성능 평가에 어떤 통찰을 제공하는가?
• RQ3 피타스케일 시스템에서 확장 가능하고 행렬 기반 구현이 없는 유한요소 해법을 사용할 때, 13분 이내에 해결할 수 있는 최대 문제 크기(자유도 수)는 얼마인가?
• RQ4 복잡한 기하학적 구조, 예를 들어 밀도가 높은 구체 배열에서, 무착점 및 자유 표면 경계 조건을 포함한 다양한 경계 조건에서 해법의 강건성은 어떠한가?
• RQ5 메쉬 품질과 요소 형태가 대규모 시뮬레이션에서 해법 수렴성과 성능에 미치는 영향은 무엇인가?

주요 결과

• 유자 유형의 다층구조 다중격자 해법이 가장 뛰어난 종합적 성능를 보이며, 786,432개의 스레드에서 1.1×10¹³개의 자유도를 가진 시스템을 약 13분 내에 해소한다.
• 행렬 기반 구현과 고도로 최적화된 구현에도 불구하고, 해법과 보조 벡터의 메모리 요구량은 약 200테라바이트에 이른다.
• 유자 다층구조 다중격자 방법은 뛰어난 확장성과 강건성을 보이며, 무착점 및 구형 장애물에서의 자유 표면 조건을 포함한 다양한 경계 조건에서도 높은 성능를 유지한다.
• 교과서 다층구조 다중격자 효율성을 병렬 시스템으로 확장함으로써 절대적 성능 평가가 가능해졌으며, 이는 현재 고성능 아키텍처에서 해법의 효율성을 확인한다.
• 이 방법은 스토크스 시스템의 라플라스 및 D-오퍼레이터 형식 모두에서 강건한 수렴성을 보이며, 다양한 문제 크기에서 성능 저하 없이 작동한다.
• 기본 워크스테이션에서도 최대 5×10⁸개의 자유도를 가진 시스템이 13분 이내에 해소되었으며, 이는 모든 규모에서 방법의 효율성을 확인한다.