[논문 리뷰] Hybrid Fortran: High Productivity GPU Porting Framework Applied to Japanese Weather Prediction Model

Michel Müller, Takayuki Aoki|arXiv (Cornell University)|2017. 10. 24.

Distributed and Parallel Computing Systems인용 수 4

한 줄 요약

이 논문은 구조적 격자 포트란 코드의 효율적이고 저비용의 GPU 오프로딩을 가능하게 하는 고생산성 GPU 포팅 프레임워크인 Hybrid Fortran을 제안한다. 이 프레임워크는 지시자 기반 프로그래밍과 스텐실 도메인 특화 언어(DSL) 추상화를 결합하여, 구조적 격자 포트란 코드에 대해 효과적인 GPU 오프로딩을 가능하게 한다. 메모리 레이아웃을 추상화하고 다양한 병렬화 정밀도를 지원함으로써, OpenACC에 비해 코드 변경 사항을 85% 이상 감소시켰으며, 단일 GPU에서 최대 4.9배의 성능 향상을 달성하였다. 실제 기상 모델인 ASUCA에서 50개 이상의 CPU 소켓을 24개의 Tesla P100 GPU로 대체하였다.

ABSTRACT

In this work we use the GPU porting task for the operative Japanese weather prediction model "ASUCA" as an opportunity to examine productivity issues with OpenACC when applied to structured grid problems. We then propose "Hybrid Fortran", an approach that combines the advantages of directive based methods (no rewrite of existing code necessary) with that of stencil DSLs (memory layout is abstracted). This gives the ability to define multiple parallelizations with different granularities in the same code. Without compromising on performance, this approach enables a major reduction in the code changes required to achieve a hybrid GPU/CPU parallelization - as demonstrated with our ASUCA implementation using Hybrid Fortran.

연구 동기 및 목표

• 대기 과학 분야의 기존 구조적 격자 포트란 코드에 대한 GPU 포팅에서 발생하는 생산성 격차를 해소한다.
• 스텐실 기반 기상 모델에 대해 메모리 레이아웃 관리와 굵은 병렬화를 다루는 데에서 OpenACC의 한계를 극복한다.
• 핵심 계산 커널을 재작성하지 않고도 효율적인 GPU 오프로딩을 가능하게 하여 코드 재사용성과 유지보수성을 유지한다.
• 다양한 병렬화 정밀도를 지원하고 컴파일 시점에 메모리 레이아웃을 추상화하여 성능과 이식성을 향상시킨다.
• 생산 수준의 기상 예측 모델(ASUCA)에서 프레임워크의 효과를 입증하며 실제 성능과 확장성을 확보한다.

제안 방법

• OpenACC 스타일의 지시자와 스텐실 전용 추상화를 결합한 도메인 특화 언어(DSL) 레이어로서의 Hybrid Fortran을 도입한다.
• 컴파일 시점의 데이터 레이아웃 변환을 통해 메모리 레이아웃을 추상화하고, 배열을 대상 GPU 메모리 접근 패턴에 맞게 재정렬한다.
• 명시적인 @parallelRegion 및 @domainDependent 지시자를 통해 동일한 코드베이스 내에서 세밀한 및 굵은 병렬화를 지원한다.
• 저장 순서 매크로와 DSL 구조를 사용하여 사용자 코드를 저수준 메모리 레이아웃 결정에서 분리함으로써 수동 최적화 부담을 감소시킨다.
• 기존 CPU 코드를 최소한의 수정으로 활용하여 원본 ASUCA 코드베이스의 95% 이상를 재사용한다.
• CPU 중심의 루프와 데이터 구조를 효율적인 GPU 커널로 매핑하기 위한 자동 코드 변환을 적용한다.

실험 결과

연구 질문

• RQ1 복잡한 메모리 접근 패턴을 가진 대규모 기존 구조적 격자 기상 모델에 대해 지시자 기반 GPU 프로그래밍(e.g., OpenACC)이 충분히 생산적인가?
• RQ2 메모리 레이아웃 추상화가 GPU 포팅 과정에서 저수준 코드 재구성의 필요성을 얼마나 줄일 수 있는가?
• RQ3 동일한 포트란 코드베이스 내에서 다양한 병렬화 정밀도를 효율적으로 표현하고 컴파일할 수 있는가?
• RQ4 실제 메조스케일 기상 모델에 대해 OpenACC 기반 GPU 포팅과 비교했을 때 Hybrid Fortran 기반 접근의 실질적인 코드 크기 오버헤드는 어느 정도인가?
• RQ5 생산 기상 예측 시스템에서 최소한의 성능 손실과 높은 코드 재사용성을 달성하기 위해 하이브리드 GPU/CPU 구현이 가능한가?

주요 결과

• ASUCA 코드베이스의 85% 이상가 수정 없이 재사용되었으며, Hybrid Fortran 버전에서 총 코드베이스의 16%만 변경이 필요했다.
• OpenACC 기반 구현은 기준 코드베이스의 약 28%에 해당하는 약 11,000줄의 추가 코드가 필요할 것이며, 이는 Hybrid Fortran의 16%에 비해 상당히 높은 수준이다.
• Hybrid Fortran 구현은 단일 Tesla P100 GPU에서 단일 18코어 인텔 Xeon CPU 소켓 대비 최대 4.9배의 성능 향상을 달성하였다.
• 전체 규모의 생산 실행(1581 × 1301 × 58 격자)에서 24개의 Tesla P100 GPU가 50개 이상의 18코어 브로드웰 Xeon CPU 소켓을 대체하여 높은 하드웨어 효율성을 입증하였다.
• OpenACC에서는 13,000줄 이상의 추가 코드가 필요로 했을 수 있는 기계적 코드 변경 사항(예: 저장 순서 매크로, 병렬화를 위한 코드 중복)을 프레임워크가 줄였다.
• 샘플 응용 프로그램 라이브러리가 Hybrid Fortran이 ASUCA 사례 연구를 초월해 데이터 병렬 포트란 워크로드에 일반적으로 적용 가능하다는 점을 확인하였다.