[논문 리뷰] Alsvinn: A Fast multi-GPGPU finite volume solver with a strong emphasis on reproducibility

Kjetil Olsen Lye|arXiv (Cornell University)|2019. 12. 16.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

Alsvinn는 고성능 다중 GPGPU 유한체적 해법기로, 비압축성 보존법칙에 대해 내장된 불확실성 정량화(UQ)를 지원하여 복잡한 3D 유동의 확장 가능하고 재현 가능한 시뮬레이션을 가능하게 한다. 512개의 GPU에서 우수한 약한 스케일링 성능를 보이며, NVIDIA P100에서 60퍼센트 이상의 메모리 대역폭 활용도를 달성하여, UQ 집약적인 문제에 대해 CPU 기반 해법기 대비 수십 배의 성능 향상을 보였다.

ABSTRACT

We present the Alsvinn simulator, a fast multi general purpose graphical processing unit (GPGPU) finite volume solver for hyperbolic conservation laws in multiple space dimensions. Alsvinn has native support for uncertainty quantifications, and exhibits excellent scaling on top tier compute clusters.

연구 동기 및 목표

• 현대 GPGPU 클러스터에서 고성능, 재현 가능하고 확장 가능한 시뮬레이션을 가능하게 하여 비압축성 보존법칙에서의 불확실성 정량화(UQ) 계산 병목 문제를 해결한다.
• 단일 고성능 프레임워크 내에서 몬테카를로, 준몬테카를로, 다중레벨 몬테카를로 등의 다양한 UQ 방법을 네이티브로 지원하는 유한체적 해법기를 개발한다.
• 통신과 계산을 겹치고 데이터 이동을 최소화하여 다중 GPU 및 다중 노드 아키텍처에서 고성능과 강력한 스케일링 성능을 확보한다.
• 개발자 부담을 최소화하면서도 다양한 방정정식, 수치적 플럭스 및 재구성 기법을 지원하는 이식성 있고 확장 가능한 C++/CUDA/MPI 기반 구현을 제공한다.
• GPGPU 가속을 통해 악조건의 비압축성 보존법칙 시스템에 대한 확률적 수식을 고공간-시간 및 통계적 해상도에서 효율적으로 시뮬레이션할 수 있음을 입증한다.

제안 방법

• Alsvinn는 고차수 재구성(예: WENO)과 강력 안정성 보존 룬게쿠타 시간 스텝을 사용하는 반연속 유한체적 방법을 구현하여 비압축성 보존법칙을 해결한다.
• 컴파일 타임과 런타임 다형성 모델을 융합하여 도메인 특화 코드를 자동으로 생성함으로써 GPU 프로그래밍 전문 지식 없이도 최적화된 CPU 및 GPGPU 커널을 생성한다.
• HLLC, 고둔옵, 로에, 엔트로피-보존 플럭스 등 다양한 수치적 플럭스를 지원하며, 런타임 선택과 자동 커널 생성이 가능하다.
• 다중 GPU 환경에서는 통신 회피 및 겹침 기법을 사용하여 할로 교환을 압축하고 내부 도메인 계산과 동시에 수행한다.
• UQ 모듈은 샘플링 기반의 확률적 통합을 통해 통계적 해법 프레임워크를 통합하며, 단일 수준 및 다중레벨 몬테카를로 방법을 지원하고 MPI 로드 밸런싱을 구현한다.
• 모든 UQ 연산, 즉 평균, 분산, PDF 추정 등은 데이터 전송 및 저장 오버헤드를 최소화하기 위해 GPU에서 직접 계산된다.

실험 결과

연구 질문

• RQ1 512개 GPU에서 3D 비압축성 PDE에 대해 높은 메모리 대역폭 활용도를 유지하면서도 강력한 약한 스케일링 성능를 달성할 수 있는 다중 GPGPU 유한체적 해법기는 가능한가?
• RQ2 복잡한 3D 유동에 대해 최적화된 CPU 기반 해법기 대비 GPGPU 기반 UQ 지원 유한체적 해법기의 성능는 어떠한가?
• RQ3 통신 겹침 및 압축 기법을 통해 다중 GPU 유한체적 시뮬레이션에서 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 단일 소프트웨어 스택이 고차수 수치적 방법과 다양한 UQ 샘플링 방법을 최소한의 성능 손실로 동시에 네이티브로 지원할 수 있는가?
• RQ5 스케일링 가능한 수준에서 GPGPU 가속을 통해 악조건의 비압축성 보존법칙의 고해상도 통계적 해를 효율적으로 계산하는 것은 가능한가?

주요 결과

• Alsvinn는 3D 켈빈-헬름홀츠 불안정성 시뮬레이션에서 2D 및 3D 모두에서 512개 GPU에서 뛰어난 약한 스케일링 성능를 보이며, 해상도가 증가함에 따라 타임스텝당 실행 시간이 거의 일정하게 유지된다.
• 3D 해상도 2048³에서 타임스텝당 0.105초의 빠른 성능를 기록하여 대규모 UQ 시뮬레이션에 적합한 고성능을 입증한다.
• 2D에서는 MPI 통신 오버헤드가 10퍼센트 미만, 3D에서는 약 30퍼센트 수준이며, 이는 3D에서 할로 데이터 성장률이 O(N²)이기 때문에 예상되는 바이다.
• 단일 NVIDIA Tesla P100에서 Alsvinn는 이론적 메모리 대역폭의 60퍼센트 이상을 활용하여, 메모리 대역폭에 의해 제한되며 잘 최적화되어 있음을 확인한다.
• 해법기는 약 10퍼센트의 피크 FLOPS를 달성하며, 메모리에 의해 제한되는 유한체적 알고리즘과 일치하며, 복잡한 고차수 스킴에서도 높은 효율성을 유지한다.
• Alsvinn는 고공간-시간 및 통계적 해상도에서 3D 압축성 유동에 대한 통계적 해의 글로벌 스케일 시뮬레이션을 처음으로 가능하게 하여, 스케일링에서의 실현 가능성과 성능를 입증한다.